Принцип действия прост: когда вы отрезаете по селекции что-то от фона, у вас есть внутреняя область - то что будет в слое как объект, и внешняя - то что в изображение объекта не войдет. Нокаут предлагает вам третью область - переходную между внешней и внутренней.
Вы должны нарисовать две области - внутренюю, так, чтобы она не выходила за границы того изображения которое стапроцентно вы хотите ОСТАВИТЬ в качестве изображения объекта.
Наружная рисуется так, чтобы она включала в себя только то, что вы хотите стапроцентно УБРАТЬ из будущего изображения объекта.
После того как обе области созданы, запускается процесс анализа переходной области и вы получаете тонкую вырезку. Сорт вырезки зависит от того сколько корова ела..., от качества оригинала, от насыщенности переходной области деталями и от того как правильно вы создали внутреннюю и внешнуюю область.
Совершенно аналогично работает Шопский экстракт. Но чуть-чуть похуже.
Кстати, что Нокаутом что Экстрактом отрезать то, что имеет и так резкие и четкие границы - бессмысленно: если переходная область в этих местах не будет чрезвычайно тонкой, то вместо четкой границы вы получите размытую или порванную.
Поэтому вырезать ими лучше то, что руками муторно или невозможно - волосы, мех, дым, стекло и тому подобное - четкие границы рисовать вручную в режиме быстрой маски, кистью с маленьким spacing'ом.