Ответ: алгоритм SIOX для создания выделений
Да вы посмотрите на интерфейс ФлюидМаски и все сами поймете - там эта фрагментация отображается прямо в окне где вы проводите манипуляции с селекцией. По крайней мере в 3-й версии так.
Что касается вопроса чем резать - его можно решить только практическим путем сравнения трудозатрат и результатов на множестве образцов. Но в случае когда вы хотите освоить универсальный метод дающий гарантированный результат за заранее известное время - нет лучшего способа чем приобрести опыт вырезания самому. Когда вы режете сами то все под контролем. Вы можете провести линию с учетом улучшения формы, или там с учетом будущей пост-обработки границ вырезанного объекта. Разумеется полупрозрачности типа волосы, одежда или стекло - когда позволяют условия - надо вырезать программой. Поэтому совмещение ручного вырезания по четким контурам и программного по нечетким - дает очень хорошие результаты как по качеству, так и по количеству.
Дело вот в чем. Четкие контуры на пестром фоне не сможет вырезать четко ни одна программа. Четкие контуры станут размытыми в той или иной степени, то есть, приобретут градиентную прозрачность изнутри - наружу. Я знаю что многие начинающие дизайнеры так и вырезают - берут мягкую кисть и ей обводят по форме. Но это низкое качество. Чтобы в Нокауте получить четкую границу по четкой границе на пестром фоне надо приложить много усилий по созданию области выделения точно повторяющей контур но с небольшим отступом. Внешний можно создать автоматом, но все равно его придется местами редактировать при этом, поскольку это же обычный Expand. В программах типа ФлюидМаск также придется проползти по границе объекта на пестром фоне чтобы получить ее качественной.
То есть, на самом деле когда объект заранее не снят на фоне ключевого цвета, вырезание сопряжено с обработкой четких границ в _любом случа_. Так стоит ли заниматься этим только для того, чтобы программа следуя данным ей четким указаниям смогла вырезать четко? Может быть тогда просто взять и обвести с макимальной четкостью векторным путем по контуру, которым и замаскировать. Это ведь дает возможность редактировать векторную маску после того как она создана. Например в том жопеге с лошадью сохранился векторный путь который был создан первично. Но он немного не совпадает с контуром, потому будучи применен как маска был отредактирован по месту.
Словом, задача вырезания распадается на две: вырезать четко вектором по четким контурам, и определить чем вы будете резать нечеткие - Нокаутом или кистью в быстрой маске. Опыт такого определения сэкономит немного время, но сначала всегда надо пытаться вырезать размытости Нокаутом чтобы понять на что он способен.