Американская Meta выпустила модель интеллектуального агента Glimmer с 30 миллиардами параметров

Репортаж от Wedoany，10 августа американская технологическая компания Meta выпустила модель искусственного интеллекта Muse Glimmer и открыла веса модели по лицензии Apache 2.0. Модель имеет 30 миллиардов параметров и предназначена для непрерывно работающих локальных агентных рабочих процессов. Она может быть развёрнута на Mac или персональном компьютере с одной потребительской GPU, без необходимости постоянного подключения к облачным сервисам.

Muse Glimmer поддерживает ввод текста и изображений, обучающие данные охватывают более 100 языков. Модель способна выполнять многошаговые задачи, такие как вызов функций, написание и отладка кода, обработка файлов и скриншотов. После сбоя вызова инструмента модель может выявить проблему и повторить попытку, а также регулировать интенсивность рассуждений в зависимости от требований задачи, выбирая между скоростью обработки и качеством вывода.

Для адаптации к потребительскому оборудованию Meta применила технологию квантизации примерно до 4 бит, сжав модель, которой требовалось более 55 ГБ памяти, до менее 20 ГБ, что позволяет весам модели, рабочей памяти, энкодеру восприятия изображений и модулю спекулятивного декодирования одновременно работать в среде с 24 ГБ или 32 ГБ памяти. Сопутствующий модуль спекулятивного декодирования DFlash может генерировать кандидатные токены пакетно. Тесты Meta показывают, что скорость декодирования на видеокарте RTX 5090 увеличивается примерно в 3,1 раза, а на устройствах M5 Max и M4 Max — в 1,8 и 1,5 раза соответственно.

Обучение модели проходило с использованием ранее выпущенной Meta модели Muse Spark в качестве учителя, а агентные способности были получены путём дистилляции выходных данных, обучения на длинных контекстах, контролируемой тонкой настройки и обучения с подкреплением. Веса модели Muse Glimmer уже доступны на Hugging Face, и Meta также постепенно предоставит адаптированные версии для таких фреймворков, как llama.cpp, MLX и ExecuTorch.

Glimmer в настоящее время доступен разработчикам в виде весов модели и документации для разработки и может использоваться для создания персональных агентных приложений, таких как управление расписанием, организация файлов, написание информации и локальное программирование. В тот же день Meta включила локальный запуск и обработку личных данных в направление развития «персонального суперинтеллекта», однако веса её более производительной модели Muse Spark до сих пор не открыты.