Метод: выберите Rounded rectangle, из семейства векторных форм, задайте радиус скругления, выставите опцию Path, и нарисуйте нужного размера прямоугольник. Затем загрузите селекцию с полученного пути (контрл-клик на его иконке в палитре путей), проинвертируйте и залейте цветом, если не хотите возиться со слоями. Путь затем удалите.
НЕметод: нарисуйте инструментом прямоугольной селекции прямоугольник отступая от края картинки 1-2 пиксела, затем выполните Select>Modify>Smooth, задайте число. Инвертируйте. Заливайте Если в углах получится не очень кругло - читайте метод, или размывайте заливку и об порог ее (Image > Adjustment > Threshold). Или кривыми круто.