Насколько я понял, только один угол прямоугольника должен быть скругленным. Если так, то
1) создай слой
2) создаешь прямоугольное выделение и заливаешь его каким либо цветом.
3) создаешь круглое или элиспообразное выделение.
4) сдвигаешь выделение к углу так, что- бы оно было вписано в прямоугольник.
5) выбераешь прямоугольное выделение и зажав Shift добавляеш прямоугольные выделения, так, что-бы в выделение попал весь прямоугольник, кроме того самого угла.
6) нажимаешь Ctrl-Shift-I
7) жмешь Delete.
Ну вот собственно и все, ненужный угол будет удален. Таким образом можно скруглять углы или сопрягать поверхности.