Ответ: Помогите Не дизайнеру
Как готовить файл зависит от способа изготовления штампа для тиснения.
Если гравировкой - то это только вектор (если отдадите растр, его будут все равно векторизовать изготовители). При отрисовке нельзя использовать толщину линии, все объекты, даже самые тонки, должны быть отрисованы как объекты. Недопускаются также пересечения объектов. В зависимости от требований вашей типографии вектор может быть в отдельном файле, отдельным слоем в файле с макетом (я всегда так делал).
Если травлением - лучше, конечно, вектор, но можно и растр высокого разрешения как описал dimon222 выше. Какое разрешение лучше узнать у изготовителя, но обычно 800-1200 дпи хватает.