Нифига не как в хелпе, читаем:
To create a knockout:
...
Choose an option from the Knockout pop-up menu:
•Shallow to knock out to the first possible stopping point such as the bottom of the layer set or clipping group containing the knockout option.
•Deep to knock out to the Background. If there is no Background, Deep knocks out to transparency.
•Lower the fill opacity or change the blending mode to create the knockout effect. (See Specifying fill opacity and Choosing a blending mode.)
Click OK.
У вас там Shallow - если вы все сделаете правильно, то увидите задник, фон, на котором у вас никакой картинки нет. То есть, картинка пробъется вашим нокаутом до фона.
А неправильно у вас по последнему пункту: нокаутирующий слой у вас в режиме Normal, и Fill=100%. Даже если он и пробил бы то что под ним до фона, или до последнего слоя в наборе слоев (layer set) где у вас пусто, вы ничего не заметили бы - поскольку слой своей заливкой закрыл бы весь эффект.
Собственно в вашем примере не понятно что должно быть пробито, поэтому сделайте так: найдите еще одну картинку, положите ее в документ как слой, и сведите с фоном - то есть, из нее должен получится background. Текстовый слой вытащите из набора, а набор удалите. Слою с текстом поставьте fill=0 и поместите его над слоем с картинкой.
-----------------
Если вы хотите чтобы сквозь буквы с обводкой просвечивала та картинка - то поставив fill=0 получите это без всяких нокаутов. При этом обводка, поскольку она у вас в эффектах, останется как есть.
-----------------
Layer Mask Hides Effects и Vector... - для совершенно других целей. У вас там нет никаких масок, не векторных, не растровых, так что пока их нет, читайте справку.