Репортаж от Wedoany，7 июля компания Lingbo Technology, дочернее предприятие Ant Group в сфере воплощённого интеллекта, выпустила модель пространственного восприятия LingBot-Depth 2.0. Модель обучена на 150 миллионах данных и демонстрирует комплексное улучшение чёткости краёв, распознавания мелких объектов, оценки глубины на больших расстояниях и устойчивости в сложных сценариях.
LingBot-Depth — это собственная модель пространственного восприятия Lingbo Technology, которая служит «глазами» робота в физическом мире. Предыдущая версия уже решила проблему восприятия пространства роботами в сложных сценариях, таких как прозрачные и отражающие поверхности. По сравнению с LingBot-Depth 1.0, версия 2.0 расширила объём обучающих данных с 3 миллионов до 150 миллионов, что привело к полному обновлению производительности: модель заняла первое место в 12 из 16 тестов бенчмарка по дополнению глубины; в наиболее сложных сценариях с обширными отсутствующими данными глубины в помещениях ошибка глубины сократилась вдвое по сравнению с предыдущим поколением, а RMSE снизился с 0,132 до 0,062; особенно выдающиеся результаты достигнуты в сценариях со стеклом, зеркалами и прозрачными объектами, где традиционные камеры глубины чаще всего дают сбои.
Одновременно была представлена визуальная базовая модель LingBot-Vision для LingBot-Depth 2.0, формирующая цепочку способностей робота от «понимания» до «точного видения», направленную на решение ключевых задач роботизированного зрения в области пространственного восприятия, точного распознавания и адаптации к сложным средам.
Прорывные достижения LingBot-Depth 2.0 стали возможны благодаря выдающимся визуальным репрезентативным способностям LingBot-Vision. Как универсальная визуальная модель, LingBot-Vision является первой в отрасли базовой визуальной моделью, использующей «граничную структуру» в качестве цели предварительного обучения, что обеспечило прорыв в парадигме обучения пространственному восприятию. Модель обладает способностью к субпиксельному определению границ и пониманию пространственной структуры, обеспечивая более высокую точность и стабильность пространственного восприятия.
Предварительный обучающий корпус LingBot-Vision составляет всего 160 миллионов изображений, что на порядок меньше, чем у DINOv3, однако точность оценки глубины превосходит DINOv3. Кроме того, LingBot-Vision достаточно стабильно определяет границы объектов, позволяя непрерывно отслеживать их в видео. LingBot-Vision выпускает с открытым исходным кодом 4 версии: ViT-G/L/B/S.
Сообщается, что LingBot-Vision, помимо поддержки обучения LingBot-Depth 2.0, также обладает универсальной способностью «одна модель для множества задач».
В настоящее время LingBot-Depth 2.0 прошёл профессиональную сертификацию лаборатории глубинного зрения Orbbec. Тестирование в реальных сценариях показало, что на основе чиповых 3D-данных, предоставляемых стереокамерами Gemini 330 серии Orbbec, LingBot-Depth 2.0 демонстрирует значительное улучшение чёткости краёв, целостности контуров объектов, распознавания мелких объектов, оценки глубины на больших расстояниях, а также устойчивости в условиях сложного освещения и разнообразных материалов.
В коммерческом плане Ant Lingbo и Orbbec уже установили глубокое сотрудничество в различных областях. Сообщается, что в недавно выпущенной матрице продуктов для сбора данных без собственного оборудования Orbbec, RGB-D версия устройства EGO будет адаптирована под версию LingBot-Depth, специально оптимизированную Lingbo Technology для сценариев сбора данных. В дальнейшем планируется интеграция более продвинутых коммерческих версий модели для постоянного восполнения отсутствующих данных глубины, оптимизации краёв объектов и деталей пространственной структуры, обеспечивая более точную, стабильную и пригодную для использования базу реальных данных для обучения моделей воплощённого интеллекта.
Кроме того, Orbbec выпустит SDK-продукт, интегрирующий новейшие возможности модели LingBot-Depth, для использования на конечных устройствах клиентов-робототехников, что позволит роботам, использующим камеры серии Gemini 330, получать лучшие результаты глубины. Также планируется к концу года выпустить интегрированную камеру с коммерческой версией LingBot-Depth, обеспечивающую единую поставку «3D-камера + способность пространственного восприятия». С выпуском двух моделей сотрудничество сторон, как ожидается, распространится на большее количество областей.
В настоящее время технические отчёты обеих моделей и веса модели LingBot-Vision уже опубликованы с открытым исходным кодом. Компания Ant Lingbo Technology заявила о намерении совместно с отраслью в открытом формате создать базу роботизированного зрения, чтобы помочь роботам преодолеть отраслевые ограничения в «понимании, точном видении и стабильном восприятии» в реальном физическом мире, ускоряя масштабное внедрение воплощённого интеллекта.
