Китайская компания Baidu представила полностью мультимодальную мировую модель Apollo World

Репортаж от Wedoany，3 ноября китайская компания Baidu на специализированном мероприятии AI Day·Apollo в Шэньчжэне впервые публично продемонстрировала управляемую агентами полностью мультимодальную мировую модель Apollo World, ориентированную на физический искусственный интеллект. Модель использует технологии многоагентного взаимодействия и генерации мультимодальной среды, поддерживает выполнение беспилотными транспортными средствами непрерывных задач вождения через различные участки дорог и сценарии в виртуальном городе и уже применяется в глобальном тестировании и валидации автономного вождения Apollo Go.

Apollo World моделирует участников виртуальной транспортной среды — транспортные средства, пешеходов и других — как агентов искусственного интеллекта, обладающих способностью к автономному принятию решений и взаимодействию. Когда беспилотное транспортное средство выполняет такие операции, как замедление, смена полосы или уступка дороги, окружающие участники дорожного движения могут корректировать своё поведение в соответствии с изменениями среды, формируя динамичные сценарии транспортного взаимодействия.

Модель способна генерировать в реальном времени мультимодальные сенсорные данные, включая изображения с камер и облака точек лидара. Система автономного вождения использует сгенерированную информацию об окружающей среде для принятия решений о вождении; модель обновляет состояние дорожного движения и поведение других агентов в соответствии с действиями транспортного средства, а затем генерирует сенсорные данные следующего момента, обеспечивая непрерывный замкнутый цикл восприятия, принятия решений, действий и обратной связи от среды.

В имитационном тестировании на уровне поездки Apollo World позволяет беспилотному автомобилю двигаться из произвольной начальной точки виртуального города к произвольной конечной точке, последовательно проезжая через различные дороги и дорожные сценарии и выполняя полные задачи поездки, включая приём заказа, посадку пассажиров и доставку к месту назначения. Модель также может извлекать сложные дорожные ситуации и рискованные сценарии из реальных данных вождения и преобразовывать их в воспроизводимые виртуальные тестовые задания.

Baidu одновременно предложила стандарт оценки мировой модели «2+3», включающий два базовых условия — причинность и интерактивность, а также три продвинутых показателя — физическую точность, долговременность и работу в реальном времени. Тестирование модели охватывает прежде всего прогнозирование состояния среды, обратную связь на действия транспортного средства, стабильность при длительной работе и способность к моделированию с низкой задержкой.

Apollo World уже интегрирована в процесс глобального тестирования и валидации Apollo Go: на основе данных реальных дорог строятся виртуальные сценарии, а результаты виртуальных испытаний используются для итерационного совершенствования системы автономного вождения. Согласно раскрытым Baidu операционным данным, Apollo Go уже работает в 28 городах мира, выполнив в общей сложности более 23 млн поездок, при этом общий пробег в режиме автономного вождения превысил 350 млн км, из которых более 240 млн км приходятся на полностью беспилотное вождение.