Трёхцветная инфракрасная камера из трёх вебокамер и полосовых фильтров
Три видеопотока 1920×1080@30 fps превратили дешёвые вебкамеры в камеру для 750, 850 и 940 нм. Пространственное совмещение держится на статических аффинных матрицах, однако независимые тактовые генераторы уводят видеоряд на 1–2 кадра за минуту. Конструкция показывает, где для мультиспектрального видео заканчиваются возможности программной калибровки.
Project 326 опубликовал конструкцию трёхканальной камеры ближнего инфракрасного диапазона на базе трёх USB-вебкамер. Каждый тракт выделяет собственный участок спектра с центральной длиной волны 750, 850 либо 940 нм. Штатные IR-cut фильтры камер заменены полосовыми дихроичными фильтрами, а записанные монохромные потоки затем объединяются в ложный цветовой композит.
Захват выполняется Raspberry Pi через три независимых V4L2-устройства. В опубликованном скрипте для каждого канала задан поток 1920×1080 при 30 fps, своя экспозиция и отдельный процесс FFmpeg с MJPEG passthrough. Такой способ хорошо демонстрирует практическую границу между оптической селекцией и видеосинхронизацией: кадровые частоты камер номинально совпадают, однако собственные генераторы постепенно расходятся. Автор оценивает накопление ошибки в 1–2 кадра за минуту.
Геометрию сводят вокруг канала 850 нм, выбранного опорным. Кадры 750 и 940 нм проходят перенос, поворот и масштабирование по сохранённым аффинным матрицам; начальные сдвиги по горизонтали в коде составляют −35 и +35 пикселей. Перед композитом каждый поток переводится в градации серого и обрабатывается CLAHE, после чего интенсивности раскладываются по программно назначенным BGR-компонентам с индивидуальными коэффициентами усиления. Цвет пикселя здесь кодирует относительный отклик трёх ИК-каналов, а палитра задаётся обработкой.
Исходная идея с одним объективом и двумя светоделительными призмами упёрлась в чувствительность к юстировке печатной механики. В итоговой версии применены три отдельных объектива и корпуса, фиксирующие положение сенсоров. Цена этой устойчивости — параллакс: близкие объекты оказываются в разных координатах для каждого тракта. По авторской оценке, на дистанции около 35 м расхождение снижается до величины менее одного пикселя.
Проверка фильтров отдельными ИК-осветителями показала селективную реакцию трактов на соответствующие длины волн. Для количественной спектральной камеры этих данных недостаточно: в открытых материалах отсутствуют спектры пропускания, ширина полос, подавление вне полосы и радиометрическая калибровка. Сенсоры вебкамер также сохраняют Bayer-мозаику, способную менять остаточную спектральную чувствительность каждого тракта.
Главное ограничение опубликованной реализации связано с движением в кадре. Калибровка геометрии остаётся статичной, а общего аппаратного триггера и захвата VSYNC в коде нет. Общий сигнал старта экспозиции, внешняя синхронизация кадров либо корреляционная оценка временного сдвига дали бы системе путь к съёмке динамичных сцен. В текущем виде установка особенно пригодна для дальних и малоподвижных объектов, где параллакс и накопленный temporal drift меньше влияют на ложный цветовой композит.