NVIDIA выпускает ИИ-модель с 120 млрд параметров и две модели для периферийных вычислений

Репортаж от Wedoany，15 октября американская компания NVIDIA объявила о расширении линейки открытых моделей Nemotron 3.5, представив мультимодальную модель Nemotron 3.5 Super VL с 120 млрд параметров, а также две модели для локальных вычислительных устройств — Nemotron 3.5 Bolt 74B-A9B и Bolt E4B. Версии Super VL и 74B уже официально доступны, версия на 4 ГБ планируется к выпуску 23 октября. Три модели ориентированы соответственно на корпоративных ИИ-агентов, персональные вычислительные устройства и встраиваемые периферийные терминалы.

Super VL разработана NVIDIA совместно с Nemotron Coalition и поддерживает выполнение инструкций, вызов инструментов, многоэтапную обработку бизнес-задач и визуальное понимание. Опубликованные NVIDIA результаты тестирования показывают, что точность модели в мультимодальных задачах достигает уровня, близкого к её крупной модели рассуждений, при объёме параметров примерно в пять раз меньше. В сравнении производительности с аналогичными открытыми моделями её пропускная способность при инференсе достигает до 5 раз выше, чем у конкурирующих моделей. Модель способна обрабатывать веб-страницы и PDF-файлы, содержащие текст, изображения, диаграммы и таблицы, а также поддерживает кастомизированное обучение на основе внутренних данных предприятия.

Для обучения Super VL использовано около 26 трлн токенов предварительного и продолжающегося предварительного обучения, а также около 3,8 млн образцов постобучения в сочетании с несколькими средами обучения с подкреплением для оптимизации производительности модели. NVIDIA одновременно открыла веса модели, методы обучения и наборы данных, охватывающие вызов инструментов, финансовые операции, обработку длинного контекста, безопасность и визуально-языковое понимание. Разработчики могут выполнять тонкую настройку и обучение с подкреплением через NVIDIA NeMo и NeMo Gym, а также развёртывать модель с помощью микросервисов NVIDIA NIM.

Ориентированная на локальную работу Bolt 74B-A9B использует архитектуру смеси экспертов с общим числом параметров 74 млрд и активацией около 9 млрд параметров при каждом инференсе. Благодаря нативной 2-битной квантизации модель требует не более 24 ГБ памяти для работы и может развёртываться на компьютерах GeForce RTX, DGX Spark, DGX Station и рабочих станциях RTX PRO. NVIDIA предоставила поддержку работы с llama.cpp, Ollama, LM Studio, Unsloth и vLLM, что позволяет пользователям локально выполнять агентные задачи, такие как написание кода, отладка программного обеспечения и поиск информации.

Другая модель Bolt E4B ориентирована на конфигурации с 4 ГБ памяти и адаптирована для платформ GeForce RTX, Jetson и RTX Spark, поддерживая многоходовые диалоги, голосовых помощников, интерактивных персонажей и встраиваемые интеллектуальные терминалы. NVIDIA позиционирует её для применения в области физического искусственного интеллекта и диалоговых агентов, охватывая потребительские устройства, автомобильные интерактивные системы и другие терминалы, требующие локального инференса.

NVIDIA также объявила о прогрессе в области корпоративной кастомизации и программной интеграции Super VL. Scale AI завершила постобучение модели для агента кредитного финансирования поставщиков Skydance и агента комплексной проверки при слияниях и поглощениях EY; AfterQuery разработала для Hebbia модель анализа кредитных соглашений; Mercor использовала данные оценки кода APEX-SWE для обучения модели. Atlassian, CrowdStrike, Dassault Systèmes, Perplexity, Salesforce и Synopsys также провели интеграцию в области поиска, анализа безопасности, инженерного проектирования, государственных процессов и верификации проектирования полупроводников соответственно.

При развёртывании инференса Super VL поддерживает среду выполнения NVIDIA Dynamo. Опубликованные NVIDIA данные о производительности показывают, что данный комплекс в соответствующей тестовой конфигурации способен поддерживать до 8-кратного числа пользователей при одновременном снижении задержки на 85%. Модель уже доступна через Hugging Face, OpenRouter, ModelScope и NVIDIA NIM; предприятия могут развёртывать её на собственных серверах, в центрах обработки данных или в облачных средах, а также продолжать обучение и настройку модели в соответствии с внутренними бизнес-процессами.