Американская компания Thinking Machines выпустила ИИ-модель Inkling 2 Small с 594 млрд параметров

Репортаж от Wedoany，5 ноября американская компания в сфере искусственного интеллекта Thinking Machines Lab официально представила ИИ-модель второго поколения Inkling 2 Small. Модель построена на архитектуре смеси экспертов (MoE), общее число параметров составляет 594 млрд, при одном выводе активируется 17 млрд параметров; поддерживается ввод текста и изображений, а также регулируемая интенсивность рассуждений. Новая модель уже доступна для вывода и дообучения через корпоративную платформу Tinker; полные веса модели планируется опубликовать по лицензии Apache 2.0 после завершения внешнего тестирования безопасности.

Inkling 2 Small использует 48-слойную архитектуру Transformer, для каждого токена активируются 8 из 384 экспертных сетей, применяется сочетание локального и глобального механизмов внимания. Модель поддерживает контекстное окно длиной до 1 млн токенов, числовые форматы MXFP8 и NVFP4 и может применяться для разработки программного обеспечения, вызова инструментов интеллектуальными агентами, поиска знаний и сложных задач рассуждения.

Согласно техническим данным, опубликованным Thinking Machines, на первом этапе предварительного обучения модель использовала 8,4 трлн токенов, обучение выполнялось на вычислительной системе NVIDIA GB300 NVL72 в течение 68 часов в нативном формате NVFP4. На втором этапе использовались 3,8 трлн токенов высококачественных данных; на последующих этапах дополнительно вводились данные рассуждений с длинным контекстом и траектории действий интеллектуальных агентов, при этом на третьем этапе использовалось около 320 млрд токенов данных, на четвёртом — около 34 млрд токенов данных.

На этапе обучения с подкреплением Thinking Machines проводила совместное обучение на 2048 GPU в течение 9 дней, выполнив в общей сложности 1075 шагов обучения и более 17 млн прогонов задач, обработав более 3 трлн токенов при объёме вычислений свыше 4×10²³ FLOPs. Обучающие задачи охватывали разработку кода, работу в терминале, генерацию документов, научные рассуждения, визуальное понимание и вызов инструментов.

Данные оценки производительности показывают, что Inkling 2 Small набрала 30,6 балла в тесте Artificial Analysis Intelligence Index v5.0; в корпоративном пресс-релизе это значение округлено до 31 балла. В тесте знаний для интеллектуальной работы AA-Briefcase v1.1 модель получила 1527 баллов; в тесте JobBench — результат 70,5%. Указанные результаты оценки взяты из опубликованных компанией таблиц тестирования.

Inkling 2 Small уже доступна разработчикам для ознакомления через Tinker Playground, а также для вывода и дообучения модели через Tinker. Thinking Machines планирует открыть полные веса модели и контрольные точки модели на следующей неделе после завершения внешнего тестирования безопасности и оценки методом красной команды. Текущая выпущенная версия предоставляется с закрытыми весами.