Расказываю..
Делаешь квадратное выделение с скруглеными краями, или обычное, а потом жмешь CTRL+ALT+D и делаешь размер сглаживания который тебе нужен. Переходишь в палитру каналов, делаешь новый канал, жди DEL чтобы сделать область выделения. Получиться белый квадрат с размазыными краями. Теперь жми ctrl+l (Уровни) и перетаскивай правый палзунок к левому, у тебя получитаться четкие края. Теперь жми с CTRL на получившийся канал. У тебя выделение с закруглекными краями. С ним можно уже что угодно делать.