Вообще-то по ссылке Suntory первой была… Персия, причем, еще в 30-е. Поскольку, там речь идет о русских эмигрантах, то возможно выражение бытовало и раньше, так что, его истоки и кто был самым первым, установить будет трудно.
Что касается прибалтов, то впервые это выражение, правда речь шла об Эстонии, я услышал в 1974 г., когда ездил туда на соревнования (и позднее слышал не раз). И хотя, формально Прибалтика не была заграницей, но не только язык, но и культура и уклад жизни показались настолько чужими, особенно это чувствовалось в небольших городках, что относительно Прибалтики оно вполне уместно (ИМХО).
PS. Впрочем, другие варианты тоже имеют право на существование. Иначе, какой же он "великий и могучий".