Как эффективно и с низким энергопотреблением осуществлять синхронное получение визуальной информации и её токенизацию — это ключевая проблема, которую необходимо срочно решить в области аппаратного обеспечения физического искусственного интеллекта (ИИ). На днях команда профессора Нанкинского университета Мяо Фэна и Лян Шицзюня совместно с командой Национального университета Сингапура впервые в мире разработала сверхнизкопотребляющий чип интеллектуального визуального сенсора нового типа «Гуанъюйсинь», способный напрямую преобразовывать свет в токены. Токены, генерируемые этим чипом, могут напрямую подаваться в энкодер для распознавания изображений. Соответствующие результаты исследования были опубликованы в онлайн-режиме 19-го числа в международном академическом журнале Nature Sensing.
Способность физического ИИ к автономному восприятию, рассуждению и принятию решений в сложных условиях в значительной степени зависит от способности периферийных устройств эффективно выполнять большие визуальные модели. Однако периферийные устройства из-за ограничений по энергопотреблению и вычислительной мощности с трудом могут выполнять обработку визуальной информации в реальном времени локально.
«В традиционном контуре визуального восприятия оптический сигнал должен пройти через несколько этапов, таких как сбор изображения датчиком, аналого-цифровое преобразование, перенос данных через буфер, цифровое разбиение на блоки и встраивание, прежде чем могут быть сгенерированы токены, пригодные для обработки моделью. Частая передача огромных объёмов избыточных данных приводит к тому, что энергопотребление на периферии остаётся высоким», — поясняет Мяо Фэн. — «Мы стремимся выполнять токенизацию непосредственно в сенсоре, обходя этот путь на физическом уровне».
В данном исследовании команда впервые в мире предложила перенести процесс генерации токенов непосредственно в сенсор, выполняя в нём функции сбора изображения, разбиения изображения на блоки и встраивания блоков изображения.
Лян Шицзюнь отметил, что разработанный командой чип «Гуанъюйсинь» состоит из фоточувствительного запоминающего массива и периферийных схем адресации. Команда сначала создала фоточувствительный запоминающий массив на основе однослойных плавающих затворных оптоэлектронных транзисторов на дисульфиде молибдена. Каждый пиксель в массиве выполняет три функции: светочувствительность, хранение и аналоговые вычисления. После записи оптического сигнала он сохраняется на месте в виде заряда на плавающем затворе. Периферийные схемы адресации могут выборочно активировать области пикселей для выполнения разбиения изображения на блоки. Для выбранных блоков изображения чип дополнительно подаёт определённую последовательность напряжений, позволяя хранящейся в блоке световой информации и матрице встраивания выполнять операции умножения-накопления в аналоговой области, а выходной ток и является токеном.
«Мы реализовали на чипе физические вычисления, при которых „свет поступает, а токены выходят напрямую", что в корне устраняет передачу данных — самый большой источник энергопотребления», — поясняет Лян Шицзюнь. Этот метод «физической токенизации» превращает чип из пассивного регистратора изображений в активный генератор визуальной семантики. Точность распознавания системы архитектуры преобразования визуальной информации на основе «Гуанъюйсинь» достигает 87,3%, что близко к базовому уровню точности традиционного программного обеспечения, а энергоэффективность на этапе токенизации повышается более чем в 10 раз по сравнению с традиционными решениями.
Мяо Фэн отметил, что этот результат в корне меняет последовательную парадигму «сначала светочувствительность, затем буферизация, потом вычисления», открывая новое измерение для преодоления потолка вычислительной мощности и энергопотребления периферийного ИИ в постмуровскую эпоху. Ожидается, что данная технология обеспечит высокоэффективную, почти нулевую задержку визуальную когнитивную основу для таких областей, как воплощённый интеллект, низковысотные беспилотники и интеллектуальная безопасность, ускоряя переход физического ИИ к масштабному применению.