Если вы создаете селекцию в режиме "быстрой маски", имхо это так и есть, то следите за значением opacity, вероятнее всего оно у вас в районе 30-35... Соответственно и выборка получается с заниженной плотностью. Пробуйте при выбранной кисти набрать на клавиатуре 100 и проделать все сначала...