Спектр является одним из важнейших информационных измерений света, его называют «световым геном» и «световым отпечатком пальца». Гиперспектральная визуализация позволяет одновременно получать многомерную спектральную информацию о цели и является ключевой технологией восприятия в таких областях, как аэрокосмическое дистанционное зондирование, интеллектуальное вождение, экологический мониторинг и точная медицина. Команда академика Чжан Цзюня из Пекинского технологического института впервые в мире предложила оригинальную концепцию специализированных спектральных вычислений, создала первую в мире новую архитектуру спектральных вычислений на чипе и решила проблему онлайн-анализа гиперспектральной визуализации в реальном времени. Соответствующие результаты исследований были опубликованы 28 августа в международном журнале Science.
Гиперспектральная визуализация генерирует огромные объемы данных, однако традиционная модель, при которой исходные данные собираются на месте, передаются на сервер для последующего анализа, серьезно ограничивает применение гиперспектральной технологии в динамичных и сложных условиях. Поэтому существует острая необходимость в том, чтобы терминалы восприятия на месте выполняли восстановление спектра, распознавание веществ и анализ информации, реализуя принцип «восприятие — это анализ, сбор — это решение».
Команда вышла за рамки зависимости от универсальных CPU/GPU и классической фон-неймановской архитектуры временных вычислений, предложив инновационный метод параллельных вычислений в области данных, который напрямую отображает полную спектральную вычислительную схему на физическое пространство аппаратного обеспечения чипа, создавая непрерывный конвейер данных, состоящий из распределенных аппаратных операторов. Это полностью устраняет время простоя вычислительного оборудования и совершает переход гиперспектральной визуализации от «офлайн-постобработки» к «онлайн-вычислениям в реальном времени на чипе», открывая новую технологическую траекторию для следующего поколения интегрированных и встраиваемых гиперспектральных систем видения.
Опираясь на эту оригинальную архитектуру, команда замкнула полный инженерный цикл от теоретических исследований и разработки чипов до производства готовых устройств, последовательно преодолев ряд ключевых технологий, включая аппаратное ускорение высокоплотных потоков данных, изготовление специализированных спектральных вычислительных чипов и создание облегченных нейросетей для восстановления спектра AI. В результате была разработана первая в мире интегрированная микросистема гиперспектральной визуализации реального времени — HyperVision.
Вес устройства HyperVision составляет всего около 950 граммов, а энергопотребление — всего 25,3 Вт, что на порядок ниже по сравнению с традиционными решениями на базе GPU. Он интегрирует собственный специализированный спектральный вычислительный чип и широкополосный спектральный датчик изображения, оснащен аккумуляторным модулем большой емкости и дисплеем высокого разрешения. Устройство отличается малыми размерами, легким весом, низким энергопотреблением, длительным временем автономной работы и высоким интеллектом. Оно не требует внешнего питания и не зависит от внешних вычислительных кластеров, обеспечивая стабильный вывод видеопотока гиперспектральных изображений в реальном времени в широком диапазоне видимого и ближнего инфракрасного излучения.
Команда уже провела системные испытания в реальных динамических сценариях, включая интеллектуальное вождение, мониторинг дыма и воздушное наблюдение с беспилотников. Рецензенты оценили эту работу как «глубокую оптимизацию архитектуры», «значительный технологический прогресс» и отметили «редкую инженерную зрелость».
В 2024 году команда Чжан Цзюня преодолела проблему оптического кодирования на чипе и опубликовала статью в журнале Nature. Нынешний результат позволил преодолеть вычислительное узкое место. HyperVision соединяет всю цепочку технологии гиперспектральной визуализации — от лабораторной теории до легкого портативного оборудования и приложений онлайн-восприятия в реальном времени, открывая новые горизонты для стратегически важных новых областей, таких как аэрокосмическое дистанционное зондирование, интеллектуальное вождение, умное сельское хозяйство и точная медицина, а также для новых производственных отраслей.