Перед CMOS-матрицей свет смешали, чтобы вернуть спектр и поляризацию
Обычный фотодиод умеет сообщить лишь одно: сколько света в него попало. Перед этой матрицей исследователи разместили два тонких рисунка из микрофильтров. После них каждый участок сцены оставляет на сенсоре свой код: яркостный узор, в котором перемешаны длина волны и направление линейной поляризации.
Именно эту смесь авторы работы в Nature Communications научились распутывать. Первый слой — спектральная мозаика 4×4 из 16 широкополосных материалов. Второй — мозаика микрополяризаторов 2×2 с осями 0°, 45°, 90° и 135°. CMOS-матрица снимает один двумерный кадр яркости, а калиброванная реконструкция по известному отклику обеих мозаик возвращает многомерное описание сцены.
В прототипе заявлены 2048×2448 точек, 74 кадра в секунду, 61 спектральный отсчёт от 400 до 1000 нм и четыре состояния линейной поляризации. Спектральные отсчёты идут через 10 нм, средняя спектральная разрешающая способность составляет 5 нм. Это позволяет различать близкие спектральные особенности гораздо тоньше, чем подсказывает само число выходных каналов.
Здесь легко обмануться эффектной арифметикой 61×4. На каждом фотодиоде нет 244 независимых приёмников, фильтров и АЦП. Есть одно кодированное измерение яркости, из которого результат извлекают обратной задачей. За компактность приходится платить чувствительностью к калибровке, шуму, освещённости и ошибкам модели. Физическая 2×2-мозаика поляризаторов также означает, что заявленная сетка выходных точек не равна набору полностью независимых пространственных измерений. Авторы не приводят исчерпывающих MTF-данных, по которым можно было бы отделить номинальное разрешение реконструкции от её реальной пространственной детализации на сложной сцене.
В обмен система видит свойства света, которые обычная камера выбрасывает ещё до записи кадра. В демонстрациях она отделяла отражение в стекле от того, что находится за ним, подавляла блики, работала со сценой в дымке и строила карты высоты и нормалей поверхности по гиперспектральным данным. Для проверки спектров авторы сравнили результат с Ocean Optics USB 2000+ и сообщили среднюю ошибку центральной длины волны 0.22 нм, ошибку ширины линии 0.26 нм и spectral fidelity 99.88% в своей калиброванной установке.
Поляризационная часть измеряет четыре линейных угла и позволяет восстановить линейные компоненты Стокса. Круговая поляризация этим стеком напрямую не снимается. Поэтому это не универсальный полный Stokes-поляриметр, но уже очень плотная интеграция: вместо сканирования фильтрами, вращения анализатора или отдельных каналов камера получает один кадр и несёт его на вычислительное разворачивание.
Такой подход особенно близок инженерам RF: полезные координаты сигнала сначала намеренно смешивает известная физическая сеть, затем их извлекает модель. Ключевой прибор здесь — изготовленный рядом с фотодиодами оптический кодировщик; одной нейросети или алгоритма недостаточно. Без его строго измеренного отклика серый узор на матрице так и остался бы серым узором.