Нарисовал схему алгоритма, который по записи выражения косвенной адресации ([esp+4*eax+5] например) определяет формат того, как будут выглядеть ModR/M и SIB байты. Получилось семь листов алгоритма, и ещё один выдающий ошибку (когда esp используется со множителем). Пока не нарисовал схему, а писал вслепую, чуть крыша не съехала %)