Репортаж от Wedoany，Модель сквозного мультимодального автономного вождения iDriveVLA, самостоятельно разработанная командой академика Ли Кэцяна из Школы транспортных средств Университета Цинхуа (под руководством профессора Ли Шэнбо и ассистента-исследователя Гуань Яна), заняла первое место в мире на международном эталонном тесте автономного вождения NAVSIM. Модель набрала 94,85 балла по ключевому комплексному показателю PDMS, что является важным достижением команды в направлении базовых моделей сквозного вождения после разработки первой в Китае полностековой системы сквозного автономного вождения.
iDriveVLA — это одноэтапная мультимодальная сквозная модель, которая решает проблему сложности одновременного обеспечения полноты траекторий и точности выбора в моделях автономного вождения с помощью двух ключевых инноваций. Во-первых, разработана иерархическая развязанная архитектура нейронной сети с взаимным вниманием, включающая атомарные компоненты общих модулей, такие как кодировщик изображений, мультимодальный декодер траекторий и декодер оценки выбора. Каждый компонент оптимизируется комбинаторно на основе макроскопической семантики вождения и микроскопических показателей производительности, а также использует вероятностный механизм фильтрации ворот для низкопроизводительных траекторий, что повышает способность модели понимать требования безопасности и соответствия вождению. Во-вторых, платформа обучения использует предложенный командой двухэтапный метод ступенчатого обучения: сначала контролируемое предварительное обучение, затем тонкая настройка с подкреплением. На первом этапе с помощью имитационного обучения экспертным траекториям вождения формируются базовые навыки вождения модели. На втором этапе используются три ключевые технологии обучения с подкреплением: гармоничный градиентный BPO для борьбы с конфликтами мульти-источников данных, экспоненциально взвешенная смешанная функция потерь Hybrid-Loss и алгоритм тонкой настройки STAPO для удаления ложных токенов, что обеспечивает высокую полноту генерации и высокую точность оценки мультимодальных траекторий в городских транспортных сценариях. Этот результат отражает постоянную инновационную способность команды в направлении интегрированных базовых моделей автономного вождения «автомобиль-дорога-облако» и обеспечивает техническую поддержку для разработки высокобезопасных, высоконадёжных и высокообобщающих систем автономного вождения.
Исследование получило финансирование от ключевого проекта Национального фонда естественных наук Китая, совместного регионального проекта Пекинского фонда естественных наук и компании Dongfeng Motor Group.
Соревнование NAVSIM было совместно организовано такими учреждениями, как NVIDIA, Стэнфордский университет, Тюбингенский университет, Шанхайская лаборатория искусственного интеллекта и другими. Оно было официально объявлено на ведущей конференции в области искусственного интеллекта CVPR в 2024 году и является важным открытым эталоном в области сквозного автономного вождения. По неполным данным, за последние годы в нём приняли участие более 143 команд и 463 модели, объединив такие известные отечественные и зарубежные компании, как NVIDIA, Bosch, Valeo.ai, Horizon Robotics, Xiaomi Auto, Changan Auto, Huawei Yinwang, Qianli Technology, а также ведущие университеты, включая UCLA, Университет Торонто, Федеральную политехническую школу Лозанны, Гонконгский университет и Фуданьский университет. Соревнование использует Predictive Driver Model Score (PDMS) в качестве основного технического показателя, оценивая способность представленных моделей к автономному вождению путём комплексного расчёта многомерных показателей, таких как риск столкновения, прогресс движения, соответствие требованиям и комфорт в фиксированном временном горизонте.
