Китайская компания Meituan выпустила мультимодальную большую модель LongCat-2.5

Репортаж от Wedoany，2 ноября китайская компания Meituan официально представила новое поколение большой модели LongCat-2.5. Это нативная мультимодальная модель, ориентированная на задачи длинносрочных интеллектуальных агентов, с общим числом параметров 1,6 трлн, при этом на каждый Token активируется около 48 млрд параметров. По сравнению с предыдущим поколением LongCat-2.0 новая модель дополнительно усилила нативное визуальное понимание и способности агентного программирования, ориентируясь прежде всего на разработку сложных кодовых баз, построение полноценных программных проектов и многошаговые задачи, требующие непрерывного выполнения.

LongCat-2.5 повышает способность модели справляться с длинносрочными задачами за счёт корректировки обучающих данных и процесса обучения с подкреплением. Meituan добавила в длинносеквенсное обучение больше данных траекторий длинносрочных задач и применила крупномасштабное длинносрочное обучение с подкреплением, чтобы модель обладала более сильной способностью к непрерывному выполнению в процессе сложной разработки программного обеспечения. Исследовательская команда также преобразовала траектории неудач, возникающих при выполнении задач реальными агентами, в воспроизводимые и верифицируемые обучающие задачи, а затем дополнила обучающие данные с учётом выявленных слабых мест модели, чтобы улучшить результаты выполнения сложных задач.

В области мультимодальной обработки LongCat-2.5 использует нативную схему визуального понимания, представляя визуальные сигналы в виде многоуровневых дискретных Token, что позволяет модели обрабатывать визуальные и текстовые входные данные в рамках единой Token-структуры. Такая архитектура позволяет модели не только понимать информацию изображений, но и применять способности визуального понимания к задачам программирования, поддерживая такие сценарии применения, как Visual Coding, креативный дизайн и генерация 3D-контента.

На этапе среднего обучения Meituan использовала обучение на длинноконтекстных последовательностях длиной до 1 млн Token с совокупным объёмом обучения в несколько триллионов Token, а также оптимизировала использование видеопамяти, межкарточную коммуникацию и планирование вычислительных ресурсов с учётом отечественной вычислительной среды. В опубликованных Meituan тестах длинноконтекстной контролируемой тонкой настройки оптимизированная пропускная способность обучения на одной карте выросла на 86% по сравнению с базовым показателем распределённого параллелизма данных (DDP).

На этапе инференса применяется схема квантования W4A4, при которой веса экспертов модели и активации одновременно квантуются до 4 бит для снижения вычислительной нагрузки и нагрузки на передачу данных. Онлайн-стресс-тестирование Meituan показало, что по сравнению с базовым показателем W8A8 INT8, где и веса, и активации квантуются до 8 бит, новая схема обеспечивает рост пропускной способности обработки входных данных и генерации по каждому Token примерно на 40%, сокращение времени ожидания первого вывода примерно на 16% и сокращение времени генерации каждого последующего Token примерно на 20%. Эти данные получены в конкретной тестовой среде, опубликованной компанией, и не означают, что во всех сценариях развёртывания будет достигнут столь же значительный прирост производительности.

Пользователи могут опробовать модель онлайн на официальном сайте LongCat, а разработчики — вызывать её через платформу API. Согласно информации, опубликованной технической командой Meituan, версии для GitHub и Hugging Face планируется выпустить позже. Направления применения новой модели включают сложную разработку программного обеспечения, визуальное программирование и креативный дизайн — задачи, требующие многошаговой обработки.