Threshold - плагин для Photoshop
Плагин выполняет пороговые преобразования (threshold), используя библиотеку OpenCV. Среди поддерживаемых методов Otsu threshold, два метода адаптивного порогового преобразования (Mean/Gaussian). Adobe Photoshop CS5/CS6, OS X (Win версия будет позднее) Примеры практического применения: 1)...forum.rudtp.ru
Если работает еще, давно не пробовал. И только на маке
А если попробовать размыть маску (радиусом R), потом вернуть контрасть уровнями.
Мелочь, которую размоет слишком сильно превратится в отсутствие выделения. Будет, соответственно зависеть от R.
При необходимости инвертировать выделение и вычесть из первоначального.
Он только стирает, не увеличивает. Ну можно убрать на копии, потом их выделить через exclusion или difference, а потом selection увеличить.