ST показала Sensor Bridge на STM32H7, но 10GbE-видео пока ведёт FPGA
На столе стоят два объектива, direct-ToF-лидар и IMU. Их модуль отправляет поток в Jetson по 10GbE, однако STM32H7 в этом физическом тракте не стоит: за камеры отвечает FPGA. Рядом ST показала отдельный proof-of-concept, где Holoscan Sensor Bridge запускается непосредственно на Ethernet-оснащённом STM32H7. Смысл новости живёт именно в границе между этими двумя устройствами.
Один модуль, два разных тракта
Модуль Leopard Imaging LI-ASTRO-VB1940-VCL-DTOF несёт пару RGB/IR-сенсоров VB1940, VL53L9 и шестиосевой LSM6DSV16X. Каждый VB1940 имеет разрешение 5.1 Мп, умеет global и rolling shutter, выдаёт до 2560×1984 при 60 fps и подключается по четырём линиям MIPI CSI-2. Здесь поток уже слишком широк, чтобы считать его ещё одной периферией микроконтроллера.
Внутри модуля стоит Lattice CertusPro-NX FPGA и 10GbE PHY. Такой выбор совпадает с опубликованной архитектурой NVIDIA Holoscan Sensor Bridge: FPGA принимает сенсорные интерфейсы, собирает data plane и передаёт его на хост UDP-потоком. На системах с ConnectX этот поток может идти в память GPU или системы через RDMA, минуя CPU. Jetson получает данные камер, глубины и инерциального датчика в общей инфраструктуре, пригодной для синхронной обработки.
Что ST действительно запустила на микроконтроллере
STM32H7 появляется в другой части замысла. ST называет свою реализацию embedded software IP Holoscan Sensor Bridge на Ethernet-enabled MCU. Компания говорит о сенсорных и исполнительных интерфейсах, меньшей загрузке CPU, задержке и джиттере, но не публикует схему аппаратного offload внутри MCU, топологию стенда или распределения задержек. Поэтому STM32H7 нельзя приписывать пересылку 10GbE-видеопотока данного модуля.
И всё же такой PoC ценен. Робототехническая система обычно распадается на дорогую FPGA-плату для широких потоков, отдельные контроллеры приводов и микроконтроллеры у локальных датчиков. Общий Sensor Bridge может дать MCU единый способ подключать эти низко- и среднескоростные узлы к вычислительному хосту, сохраняя FPGA там, где нужно разбирать MIPI, буферизовать кадры и держать 10GbE data plane. Это уже похоже на архитектурное разделение труда, а не на попытку притвориться, будто Cortex-M способен стать сетевой видеокартой.
Граница проходит по ширине потока
У NVIDIA есть готовая методика измерения сквозной задержки: FPGA ставит timestamp, а оптическая часть стенда использует LED и фотодетектор с поправками на тип затвора. Для STM32H7-демонстрации таких результатов пока нет. До их публикации слова о low-jitter и low-latency остаются заявлением производителя, хотя сама связка MCU с Holoscan уже подтверждена.