Репортаж от Wedoany，Швейцарская компания STMicroelectronics (ST) на недавно прошедшей глобальной медиа-презентации по визуализации подробно изложила своё видение технологий визуализации в эпоху ИИ и представила два новых продукта: компактный 3D-лидарный модуль прямого времени пролёта (dToF) для периферийных систем ИИ, а также серию 5-мегапиксельных КМОП-сенсоров изображения. Эти продукты ориентированы на такие области применения, как робототехника, промышленная автоматизация, автомобильная безопасность, интеллектуальные здания, носимые устройства и Интернет вещей, и призваны ускорить развёртывание интеллектуальных систем машинного зрения, приблизить обработку данных к периферии, одновременно повышая конфиденциальность и снижая сложность системы.
Александр Бальмефрезоль (Alexandre Balmefrezol), исполнительный вице-президент подгруппы визуализации STMicroelectronics, отметил, что искусственный интеллект коренным образом меняет роль сенсоров изображения. Раньше сенсоры в основном использовались для захвата высококачественных изображений для просмотра человеком; теперь от них требуется предоставлять информацию, понятную машинам, чтобы они могли воспринимать окружающую среду и принимать решения в реальном времени. В ST сенсоры изображения превращаются в интеллектуальные устройства восприятия, способные к измерению глубины, обнаружению присутствия человека, биометрической аутентификации и контекстному восприятию. Генерируемые ими данные могут напрямую обрабатываться алгоритмами ИИ локально, поддерживая такие приложения, как автономные роботы, промышленный контроль и интеллектуальные здания.
Стратегия ST заключается в том, чтобы избежать высококонкурентной борьбы на рынке традиционных RGB-сенсоров изображения и сосредоточиться на специализированных технологиях восприятия, обеспечивающих большую системную ценность. Её линейка продуктов строится вокруг трёх серий: FlightSense для измерения глубины методом времени пролёта, BrightSense для компьютерного зрения и SafeSense для автомобильной безопасности. В отличие от других производителей, ST использует модель интегрированного производителя устройств (IDM), контролируя весь процесс от разработки пикселей и КМОП-технологии до корпусирования, оптики и системной интеграции. В сочетании с микроконтроллерами STM32 и программной поддержкой ST предлагает комплексные сенсорные решения, а не отдельные сенсоры изображения, что помогает клиентам снизить сложность интеграции и ускорить разработку.
Новый модуль VL53L9 FlightSense — это первый полностью интегрированный универсальный модуль времени пролёта от ST. Это устройство объединяет SPAD-сенсор, лазерный источник, оптику, бортовую обработку, управление питанием и заводскую калибровку в компактном модуле, значительно снижая инженерную сложность для клиента. Дальность измерения модуля в помещении достигает 9 метров, скорость работы — до 100 кадров в секунду, он поддерживает 54×42 зоны восприятия и обеспечивает угловое разрешение в 1 градус, позволяя обнаруживать объекты на расстоянии до 5 см. Генерируемая им информация о глубине представляет собой данные низкого разрешения, фокусирующиеся на форме объекта и расстоянии, а не на личности человека, что позволяет реализовать обнаружение занятости, подсчёт людей и распознавание падений с соблюдением конфиденциальности.
На презентации ST продемонстрировала продвинутую обработку ИИ, работающую на микроконтроллере STM32H5. Система, используя данные модуля FlightSense, может одновременно обнаруживать присутствие человека, распознавать падения, определять позы тела и подсчитывать нескольких людей, работая со скоростью 30 кадров в секунду и потребляя ограниченные ресурсы памяти и флэш-памяти. Это показывает, что сложные рабочие нагрузки ИИ всё чаще переносятся на маломощные периферийные устройства, снижая энергопотребление, задержки и системные затраты, а также повышая конфиденциальность.
Для машинного зрения ST представила новую серию 5-мегапиксельных КМОП-сенсоров изображения BrightSense. Эта серия использует крупные пиксели размером 2,25 микрона для повышения чувствительности и поддержания низкого уровня шума. Её наиболее значительным нововведением является технология гибридного затвора, позволяющая одному и тому же сенсору работать как в режиме rolling shutter, так и в режиме global shutter. Rolling shutter используется для традиционной съёмки, а global shutter устраняет искажения движения быстро движущихся объектов. Сенсор также поддерживает RGB, монохромную и ближнюю инфракрасную съёмку, ориентируясь на такие приложения, как промышленная автоматизация, машинное зрение и наблюдение в умных городах. ST также подчеркнула ключевую роль метаповерхностной оптики и технологии 3D-стэкирования в повышении производительности сенсоров и уменьшении размеров системы. Метаповерхностная оптика использует чрезвычайно тонкие оптические структуры для управления светом, в то время как 3D-стэкирование разделяет пиксели изображения и цепи обработки, способствуя созданию более компактных модулей и интеграции расширенных функций обработки изображений.
ST считает, что основные возможности для её технологий ИИ-визуализации лежат в областях, требующих надёжного визуального восприятия и ограниченных по энергопотреблению и вычислительным ресурсам, таких как промышленные роботы, автономные мобильные роботы, человекоподобные роботы, устройства AR/VR и передовые автомобильные системы. Заглядывая в будущее, компания считает, что визуальные сенсоры больше не будут передавать огромные объёмы необработанных данных изображения, а будут выполнять обработку данных локально. Такая архитектура делает акцент на более низком разрешении, меньшем энергопотреблении и встроенной обработке ИИ. Сенсоры превратятся в интеллектуальные системы восприятия, передающие главному процессору только самую релевантную информацию, что приведёт к появлению нового поколения автономных и подключённых устройств.
