Репортаж от Wedoany，11 августа несколько сотрудников, участвующих в проекте Nvidia Nemotron 4, сообщили, что этот американский производитель чипов разрабатывает новое семейство моделей открытого искусственного интеллекта, при этом крупнейшая модель, как ожидается, будет иметь не менее 1 триллиона параметров. В тот же день Nvidia подтвердила, что продолжает разработку Nemotron 4, но не подтвердила указанный масштаб параметров и сроки выпуска.

Nemotron 4 ещё не завершил финальное обучение, и Nvidia не установила официальную дату выпуска. Сотрудники, участвующие в проекте, ожидают, что серия моделей может быть готова уже к концу осени 2026 года, а цель разработки — конкурировать с ведущими мировыми открытыми моделями.

Крупнейшей моделью текущей серии Nemotron 3 от Nvidia является Nemotron 3 Ultra, которая использует архитектуру смеси экспертов и Mamba-Attention, имеет 550 миллиардов общих параметров и активирует 55 миллиардов параметров на каждый токен. Модель предварительно обучена на 20 триллионах текстовых токенов и поддерживает контекстное окно до 1 миллиона токенов.

11 августа Nvidia также выпустила Nemotron 3.5 Lightning. Эта модель имеет 30 миллиардов общих параметров и 3 миллиарда активируемых параметров, может использоваться для агентных задач, таких как проверка кода, вызов инструментов и мониторинг предупреждений безопасности, и уже готова к коммерческому использованию.