Проще не морочится с хромакеем, а сгенерить сцену как нравится, а потом просто заменить лицо, экстеншены есть к SD для этого, справляются отлично.
Подбирать промпт и допиливать сцену в 512х512 px, потом финальную генерацию сделать с апскейлером в 2 раза (тот же ESRGAN_4x, например), а потом...