на выходе получилось во что
Либо картинка безбожно увеличена (если ориентироваться на линиатуру 150 lpi), либо показана линиатура в лучшем случае 90 lpi. Проверьте LPI-метром. Это такая плёночка с линиями, расположенными с плавно изменяющейся периодичностью, где есть метки с указанием линиатуры и углов разворота растра. Там где центр муара - там и искомая точка.
В остальном... Известно из математической теории, подтверждённой экспериментально (и Вами в том числе), что периодическая функция с периодом N может быть достоверна изображена набором гармоник с периодом N/2. По-простому это означает, что ряд высотой из двух растровых точек надёжно воспроизводит одиночную линию удвоенной ширины в макете. Если линия макета уже, то обязательно начнут лезть артефакты.
Замечу, что периодичность размещения растровых точек также можно условно описать некой частотой, привязанной к габаритам изображения.
Теорема Котельникова — Википедия
Частота Найквиста — Википедия
Частота Найквиста — в
цифровой обработке сигналов частота, равная половине
частоты дискретизации. Названа в честь
Гарри Найквиста.
Из
теоремы Котельникова следует, что при
дискретизации аналогового сигнала потерь информации не будет только в том случае, если (спектральная плотность) наивысшая частота полезного сигнала равна половине или меньше частоты дискретизации (в англоязычной литературе под обозначением половины частоты дискретизации употребляют термин частота Найквиста). В противном случае при восстановлении аналогового сигнала будет иметь место наложение спектральных «хвостов» (подмена частот, маскировка частот,
алиасинг), и форма восстановленного сигнала будет искажена. Если
спектр сигнала не имеет составляющих выше частоты Найквиста, то сигнал может быть (теоретически) продискретизирован и затем восстановлен без искажений. Фактически «оцифровка» сигнала (превращение аналогового сигнала в цифровой) сопряжена с квантованием отсчётов — каждый отсчёт записывается в виде цифрового кода конечной разрядности, в результате чего к отсчетам добавляются ошибки квантования (округления), при определенных условиях рассматриваемые как «шум квантования».