Табличные данные по спектрам: как правильно интерпретировать

[Samsonov]

Давно мучаюсь таким вопросом: что есть числа, публикуемые в таблицах стандартных спектральных величин? Например.

длина волны   СРЭ
    360       6,14
    365       6,95
     . . . . . . .

Вот эти вот значения во втором столбце — это что:

• значение непрерывной функции в точке,
• или всё-таки среднее значение распределения на интервале, центром которого является данная точка?

Другими словами, каковы значения этих табулированных функций в промежуточных точках: могут ли они быть примерно вычислены путём интерполяции значений соседних узлов, или они должны считаться равными в рамках одного интервала?


Если кому вдруг не понятно, в чём разница, поясняю. Теоретическая колориметрия оперирует непрерывными функциями: они хоть и строятся на основе ограниченного набора данных, но в целом интерпретируются так, что запись вида f(360) = 6,14 означает, что функция имеет конкретно это значение конкретно в этой точке бесконечно малого размера. Чтобы получить колориметрические характеристики, мы считаем определённый интеграл произведения непрерывных функций, например, ∫f(λ)·V(λ)·dλ — чтобы определить яркость стимула.

На практике мы имеем дело с дискретными интервалами: спектрометр измеряет, какое количество энергии попало в диапазон, например, 357,5 … 362,5 нм, и выдаёт нам ответ: f(360) = 6,14 — среднее значение на всём интервале Δλ=5. Как нам посчитать яркость? Просто заменить интеграл на сумму Σf(λ)·V(λ)·Δλ — не вариант, если функция V(λ) табулирована по значениям в точках, а не по усреднённым значениям на интервалах Δλ, как f(λ).


Если кому-то до сих пор не понятна разница, попробуйте нарисовать на бумаге любое количество точек, а потом постройте по ним график и ступенчатую диаграмму. График может быть как с плавным сглаживанием, так и банально линейный. А диаграмма — просто столбики, высота которых совпадает со значением в контрольной точке. Нетрудно видеть, что площадь столбика диаграммы всегда заметно отличается от площади фигуры под графиком на том же интервале.


Соответственно, вопрос: как правильно интерпретировать табличные данные функций цветового соответствия, спектрального распределения энергии стандартных осветителей, коэффициентов отражения образцов (CRI, MI)? Надо ли их предварительно интерполировать и затем поинтервально агрегировать, или они публикуются уже в «разжёванном» виде?

Ещё более интересный вопрос: как быть при несовпадении интервалов дискретных функций? Например, на практике в ходу интервалы 1, 3,3, 5, 10, 20 нм, — очевидно, что дискретную выборку с интервалом 5 нм нельзя просто так превратить в 10-нанометровую, банально сложив каждую пару интервалов. Ведь если у них совпадают центры, то в первом случае имеем отрезки 357,5–362,5 («360 нм»), 362,5–367,5 («365 нм»), …, а во втором — 355–365 («360 нм»), 365–375 («370 нм»). То есть даже в этом случае надо сначала «поделить» 5-нм интервалы на 2,5-нм, и затем уже их объединять в 10-нанометровые. Идти в обратную сторону, от 10 нм к 5 нм, — априори ещё интереснее. Кое-какой алгоритм «линейной дискретной интерполяции» приходит в голову, но, наверное, давно уже придумали «официальные гайдлайны»?

 

[pell]

Ответ: Табличные данные по спектрам: как правильно интерпретировать

Вместе с тем полезно ознакомиться с перепиской Е. Н. Юстовой и G. Wyszecki по вопросам точности колориметрических измерений и табличных данных (Е. Н. Юстова, Колориметрия (Цветовые измерения), СПб: Изд-во СПб ГосУниверситета). Для себя из чтения оной сделал предварительный вывод — к табличным данным CIE следует относиться с известной долей юмора, ну пишут они там до 15-ти знаков после запятой, при том сколько из этих знаков точные (или хотя бы претендуют на точность) — тайна, покрытая мраком.

 

[sabos]

Ответ: Табличные данные по спектрам: как правильно интерпретировать

каковы значения этих табулированных функций в промежуточных точках

Есть ли физический смысл у функции спектрального распределения? Да, мы помним, что это спектральное распределение мощности, физической величины. Что измеряет прибор спектрофотометр? Мощность за узкополосным светофильтром. Вы абсолютно правильно говорите – да, это интеграл на диапазоне фильтра, это площадь. Второй раз усреднять не нужно, физика прибора побеспокоилась и провела усреднение. Если нужно работать на диапазонах побольше, суммируем значения, закон сохранения энергии не нарушится. Поэтому можно спокойно заменить интеграл на сумму Σf(λ)·V(λ)·Δλ , иногда в колориметрии на дискретные данные говорят – заменяем spectral product на SUMPRODUCT (это намек).

значение непрерывной функции в точке, или всё-таки среднее значение распределения на интервале

Есть ли между этими величинами разница? Можно ли сделать разложение непрерывной функции? В нашем случае это определяется фильтром, фильтр этот не прямоугольный (в природе таких не бывает), фильтр этот гармоничный, полуволна синусоиды, соседние диапазоны естественно с перехлестом, все как учил великий Фурье.

как быть при несовпадении интервалов дискретных функций?

Это обычный redigitazing, поищу у себя готовые решения, для excel подойдет?

 

[Samsonov]

Ответ: Табличные данные по спектрам: как правильно интерпретировать

по вопросам точности колориметрических измерений и табличных данных

Сомнение в показаниях приборов и в адекватности стандартизированных(!) таблиц — проблема интересная, но она явно выходит за рамки данного топика.

В конце концов, значения, которыми мы оперируем как результатами измерений, могут являться и результатом вычисления — например, спектр D-осветителя. Кто знает, из каких величин он получен? То ли это замеры с полосой 5–10 нм, то ли это значения функции через каждые 5–10 нм. Или вот A-осветитель: если вычислять его спектр по закону Планка, то это гарантированно будут точечные значения, а не результаты замеров. То есть, в каком бы виде ни публиковались таблицы колориметрических функций, они не подходят для прямого применения либо к одному из этих смоделированных спектров, либо сразу к обоим (если и то, и другое, и третье — точечные значения).

Что измеряет прибор спектрофотометр? Мощность за узкополосным светофильтром. Да, это интеграл на диапазоне фильтра, это площадь. Второй раз усреднять не нужно, физика прибора побеспокоилась и провела усреднение.

Возможно, я как-то не очень доходчиво сформулировал свой вопрос. Но речь идёт не о показаниях приборов (с ним-то как раз всё понятно) — речь о предопределённых табличных величинах, данных нам «свыше», таких как CMF.

Поэтому можно спокойно заменить интеграл на сумму Σf(λ)·V(λ)·Δλ.

Только в том случае, если табулированные значения V(λ) получены так же, как и измеренные значения f(λ), — путём интегрирования непрерывной функции V(λ) на интервале Δλ. Но так ли это на самом деле? Я совсем не уверен; точнее, почти уверен в обратном, — что в таблицах приводятся «моментальные» значения V(λ) в точке λ, протабулированные с шагом Δλ. При таком раскладе считать «произведение ужа на ежа» мне кажется некорретным, хотя в большинстве случаев, конечно, разница будет не катастрофической.

У меня нет официальных данных по одной и той же функции с разным шагом, поэтому сравнивать трудно. Но если судить по калькуляторам Линдблума (не бог весть какой авторитет, но всё же), то в одних и тех же точках получаются одинаковые значения при разной ширине интервала. Очевидно, такое может быть, только если значения — точечные, не усреднённые по интервалу. И в то же время Линдблум в пояснении к ним пишет: «используйте таблицу, соответствующую разрешающей способности вашего прибора» — то есть как бы предполагая прямое применение этих табличных данных к результатам измерений.

Или вот упомянутый в соседнем топике сайт CVRL. Не знаю, насколько весомо мнение офтальмологического института, но у них там в описаниях всех серий данных чётко говорится, что значения с шагом 1 нм и 0,1 нм получены путём кубической сплайновой интерполяции 5-нм данных. То есть они интерпретируют таблицы CIE именно как список значений непрерывной функции в конкретной точке: значения в одной точке у них всегда совпадают, независимо от ширины интервала.

При несовпадении интервалов дискретных функций требуется обычный redigitazing. Поищу у себя готовые решения, для Excel подойдет?

Интересует сам принцип; по готовым решениям (особенно если они оптимизированы) принцип трудно понять. Мне пока на ум пришло просто делить интервал на равные части и распределять в них исходную мощность согласно «весу» нового подынтервала, который определяется суммарной мощностью в самом подынтервале и его окресностях. Получается в целом правдоподобно, хотя и не всегда оптимально.

 

[sabos]

Ответ: Табличные данные по спектрам: как правильно интерпретировать

речь о предопределённых табличных величинах, данных нам «свыше», таких как CMF.

И как они были получены? Это также данные измерений, на реальном приборе «визуальный колориметр». У которого конечное разрешение по частоте, и соответственно, табулированные значения V(λ) получены так же, как и измеренные значения f(λ).

Что-до аналитических выражений (типа Планка), то см. ниже:

Сомнение в показаниях приборов и в адекватности стандартизированных(!) таблиц — проблема интересная, но она явно выходит за рамки данного топика.

Не соглашусь. Нельзя обсуждать ошибки вычислений, не оговаривая точность исходных данных. Иначе можно дойти до обсуждения ограниченности рациональных чисел при табуляции некой (непрерывной) функции. Табличное представление неидеально, оно всегда хуже аналитической записи.

Ваш вопрос (без сомнения хороший) о ошибках дискретизации (табуляции). И рассматривать эти ошибки нужно через матаппарат дискретизации, как по частоте (времени, интервалу табуляции), так и по амплитуде. Можно безупречно согласовать интервалы табуляции, но это не снизит ошибку в амплитудах. Поэтому при дискретизации (табуляции) автоматически подразумевается округление, количество значащих цифр не может быть больше ошибки дискретизации, разницы между «мгновенным» значением функции, и средним на интервале шага (если строже, ряд там гармонический, поэтому некорректно говорить о среднем, говорим о коэффициентах, или амплитудах ряда).

 

[igors]

Ответ: Табличные данные по спектрам: как правильно интерпретировать

То есть они интерпретируют таблицы CIE именно как список значений непрерывной функции в конкретной точке: значения в одной точке у них всегда совпадают, независимо от ширины интервала.

А это всегда справедливо, для функций имеющих линейный рост. Более того, я Вам скажу, если произодная ограничена, то это справедливо и для такой функции.

 

[Samsonov]

Ответ: Табличные данные по спектрам: как правильно интерпретировать

Функции типа CMF — тоже данные измерений, на реальном приборе «визуальный колориметр». У которого конечное разрешение по частоте, и соответственно, табулированные значения V(λ) получены так же, как и измеренные значения f(λ).

Если разрешение этого прибора по длине волны Δλ было, например, 0,1 нм или даже 1 нм, то в практическом контексте такую функцию можно назвать «почти непрерывной». Но когда мы переходим к разбиению по 5 нм, а тем более по 10 или 20 нм, это уже трудно считать «малой величиной», особенно если учесть, что весь исследуемый диапазон составляет 300–400 нм.

Нельзя обсуждать ошибки вычислений, не оговаривая точность исходных данных.

Таблицы CIE по наблюдателям опубликованы с точностью 4–5 знаков, при этом значения в соседних ячейках имеют отличие уже во 2–3 знаке. Спектр осветителя D65 использует 5–6 разрядов, при этом на всём диапазоне длин волн разница между соседними значениями составляет не менее 0,1 % от максимума (значение в точке 460 нм), в среднем — 2,4 %. Поэтому погрешность округления тут мне кажется несущественной проблемой.


Я ведь не просто так употреблял словосочетание «публикуемые таблицы». Получить исходные данные можно с высоким разрешением (в том числе построив аналитическую модель), а потом на основе этих данных сымитировать измерение прибором с меньшей разрешающей способностью, проинтегрировав по соответствующим интервалам, — и публиковать уже эти, разжёванные значения, которые не являются точными значениями исходной функции в заданных узлах. Но можно этого и не делать: можно просто опубликовать исходные данные с заданным шагом. В том-то и вопрос: по какому пути пошли господа из CIE? Интересует именно официальный взгляд на проблему, а не домыслы любителей, которые вполне могут быть и ошибочными.



Пока я так и не могу понять, ясен смысл моего вопроса, или всё-таки нет? Моей задачей не является поставить под сомнение корректность методик получения исходных данных учёными. Я воспринимаю публикации CIE как стандарты — эти стандарты могут сколь угодно не соответствовать реальному положению вещей в природе, но это стандарты, и они должны пониматься всеми одинаково, давая одинаковый результат вычислений. То есть весь вопрос в том, как эти данные правильно интерпретировать.

Или, может, вопрос-то ясен, но всем кажется, что я раздуваю из мухи слона, — а надо просто считать, как получается, и не париться по пустякам? Но таким вот макаром и рождаются расхождения результатов в разных программах; помните, здесь недавно поднимался вопрос, почему даже родственный софт одни и те же замеры совершенно по-разному пересчитывает в колориметрические величины? Вот и хотелось бы понять, как проводить вычисления правильно; тем более, что современным компьютерам по плечу любые расчёты.



PS. igors, ваше утверждение совсем непонятно. Изложите свою мысль подробнее, пожалуйста.

 

[DimB]

Ответ: Табличные данные по спектрам: как правильно интерпретировать

Samsonov
Посмотрите здесь (Q. How can I convert spectral data to XYZ?) . Может это часть ответа на Ваши вопросы.
«…
In ISO 13655, the observer and illuminant data are pre-multiplied and for ICC applications these are what should be used (unless you have a spectrophotometer that measures at 5nm bandpass ? or finer). But if you don't have those a good approximation can be obtained by using data interpolated from the 5nm interval data which CIE publish and which can be found in any good book on colour, and on a number of websites such as http://www.cvrl.org/. »

 

[pell]

Ответ: Табличные данные по спектрам: как правильно интерпретировать

DimB
Увы, никак не поможет. Предлагается проделать ряд арифметических операций над числами (sumproduct) и получить магические числа. Что это за числа, как они получены, как их понимать (значения в узлах сетки, средние по интервалам, взвешенные средние и т.д.) — нет ответа.

Полагаю, ответа на эти вопросы нет ни у кого. Более того, считаю, что это не важно — функции осциллируют не сильно, особой разницы нет. Да и сами значения воспринимаю с изрядной долей юмора.

 

[sabos]

Ответ: Табличные данные по спектрам: как правильно интерпретировать

Что это за числа, как они получены, как их понимать (значения в узлах сетки, средние по интервалам, взвешенные средние и т.д.) — нет ответа.

Боюсь, это уже гипербола, причем неудачная. «Магические» числа имеют строгий физический смысл, который легче всего расшифровать через Грассмана, вводя в его законы понятие монохроматических (спектральных) трехстимульных значений (а потом можно обобщить Грассмана и на спектральные смеси). Т.е. color-matching functions есть spectral tristimulus value для всех P(λ) (где P(λ) spectral concentration или спектральная плотность - см. рис).



Если всерьез интересует, как именно получены эти числа - могу от «отца» колориметрии, профессора W.David Wright выложить его The historical and experimental background to the 1931 CIE system of colorimetry. Также имеется первоисточник CIE 1931 Resolutions on colorimetry, September 1931, Cambridge at the University Press.

Специально уточню еще и условие нормировки, тогда color-matching functions есть distribution coefficient (коэффициенты распределения) for the stimuli of the same energy.

функции осциллируют не сильно, особой разницы нет.

Даже больше, мы их определяем, как гладкие, откуда и возможность интерполяции с шагом 1nm (CIE 71).

 

[sabos]

Ответ: Табличные данные по спектрам: как правильно интерпретировать

Если разрешение этого прибора по длине волны Δλ было, например, 0,1 нм или даже 1 нм, то в практическом контексте такую функцию можно назвать «почти непрерывной»... Получить исходные данные можно с высоким разрешением...

Неверно. Мы говорим о функции со свойствами метамеризма, это одновременно разрешение и по частоте, и по амплитуде (по мощности). Можно создать монохромат (узкоспектральный) с наивысшим разрешением, и убить всю точность при измерении амплитуд. Точнее, в случае color-matching functions точность ограниченна самим принципом психофизического метамерного измерения, принципом «вижу-не вижу» различие, наше измерение ограниченно по точности пределом JND (непостоянным для разных длин волн и их сочетаний), не забывайте, как именно функция то получена.

Таблицы CIE по наблюдателям опубликованы с точностью 4–5 знаков

Оригинальные (CIE31 rgb) даны с точностью до четырех знаков. Но в CIE71 уже семь знаков. Откуда берутся остальные, значит ли это, что растет точность?

The large number of significant figures used to define the color-matching functions must not be construed as being proof that the experimental color-matching data, on which the tabulated values are based, have a comparable inherent precision. Visual color matching is far from being that precise (see Sections 5.4 and 5.5). However, the use of the CIE 1931 color-matching functions in a large variety of colorimetric calculations and specifications makes it very desirable, from the practical point of view, to define these functions precisely and at small intervals (Δλ = 1 nm), and to make them and the corresponding chromaticity coordinates smooth functions of wavelength.

Спектр осветителя D65 использует 5–6 разрядов

Различайте аналитическую модель (например Планка) и эмпирическую табличную округлённую D-имитацию солнце+небо.

публиковать уже эти, разжёванные значения, которые не являются точными значениями исходной функции в заданных узлах

Давайте сперва определим, что есть «исходная функция»? Где-то в документации в сейфе Главного Конструктора записано выражение, которое мы пытаемся восстановить? Нет. Вы сами отвечаете - это лишь «стандарт», весь вопрос в том, как эти данные правильно интерпретировать. Интерпретируйте их, как любую другую дискретизацию - на отрезке значение функции неизменно (!), по-определению неизменно. И равно P(λ), т.е. spectral concentration (см. предыдущий пост).

Мы конечно можем усложнить вопрос. Да, нужно различать дискретизацию и квантование. Да, Δλ можно улучшить, можно повысить точность приборов. Но см. выше, можно ли снизить порог восприятия (JND) у человека?

Интересует именно официальный взгляд на проблему, а не домыслы любителей

Официальный очень прост - делайте sumproduct. Сперва данные от приборов приведите в ту же размерность, что и color-matching functions (среднее по интервалу). Если ваши данные от приборов с Δλ > 5 nm - то достаточно таблицы CIE33, если от приборов с Δλ > 1 nm - CIE71.

 

[pell]

Ответ: Табличные данные по спектрам: как правильно интерпретировать

Если всерьез интересует, как именно получены эти числа - могу от «отца» колориметрии, профессора W.David Wright выложить его The historical and experimental background to the 1931 CIE system of colorimetry. Также имеется первоисточник CIE 1931 Resolutions on colorimetry, September 1931, Cambridge at the University Press.

Вот, это интересно.