Лаборатория Thinking Machines Lab выпустила открытую модель Inkling с 975 миллиардами параметров

Репортаж от Wedoany，Основанная бывшим техническим директором OpenAI Мирой Мурати (Mira Murati) лаборатория Thinking Machines Lab выпустила модель с открытыми весами Inkling. Общее количество параметров модели составляет 975 миллиардов, она использует архитектуру смеси экспертов, активируя для заданной задачи лишь около 41 миллиарда параметров, поддерживает контекстное окно до 1 миллиона токенов и обучена на 45 триллионах токенов текстовых, графических, аудио- и видеоданных. Inkling способна обрабатывать рассуждения на основе текста, изображений и аудио, но в настоящее время выводит только текст, включая код и структурированные данные.

Thinking Machines Lab не утверждает, что Inkling занимает первое место по производительности. В собственных материалах она описывается как «не самая мощная из доступных на данный момент моделей, как закрытых, так и открытых». Лаборатория стремится к широте и адаптивности, позиционируя Inkling как базовую модель, которую организации могут самостоятельно донастраивать, а не как готовый чат-бот. Пользователи могут регулировать «уровень размышлений», чтобы находить компромисс между точностью и скоростью. Компания заявляет, что в одном из тестов кодирования Inkling достигла того же уровня, затратив лишь треть токенов, необходимых модели Nvidia Nemotron 3 Ultra. Лаборатория также представила облегчённую версию Inkling-Small с 12 миллиардами активных параметров, предназначенную для задач, где приоритет отдаётся стоимости и скорости.

Весь запуск основан на ключевом предположении: искусственный интеллект, обученный в одном месте и затем замороженный, проиграет моделям, которые каждая организация может формировать в соответствии со своими собственными знаниями. Клиенты донастраивают Inkling через собственную платформу кастомизации лаборатории Tinker и владеют результатами, одновременно принимая на себя риски безопасности созданного контента. Лаборатория приводит в пример проект сотрудничества с хедж-фондом Bridgewater, в рамках которого на основе финансовых знаний Bridgewater была обучена открытая модель, набравшая 84,7% в тесте на финансовые рассуждения, превзойдя ведущие проприетарные модели с очень низкими затратами. Эти данные получены из собственных оценок двух компаний, а не от независимой третьей стороны.

Thinking Machines Lab подчёркивает скорость своей разработки. TechCrunch отмечает, что OpenAI потребовалось около пяти лет для запуска и выхода на прибыльность, Anthropic — около трёх лет, а лаборатория Мурати утверждает, что справилась примерно за девять месяцев. Для достижения такой скорости лаборатория пошла на некоторые упрощения: для запуска обучения Inkling она полагалась на другие открытые модели, включая Kimi K2.5 от Moonshot, — этот метод называется дистилляцией. Лаборатория заявляет, что её следующая модель будет полностью обучаться самостоятельно. Inkling работает на системе Nvidia GB300, что является частью сделки, заключённой в марте, касающейся вычислительных мощностей Nvidia мощностью 1 гигаватт.

В настоящее время Thinking Machines Lab предоставляет Inkling полностью бесплатно, получая доход от платформы кастомизации Tinker. Финансирование и кадровый состав лаборатории переживали взлёты и падения: в прошлом году она привлекла 2 миллиарда долларов при оценке в 12 миллиардов долларов, в то время как сообщалось о срыве раунда финансирования в 50 миллиардов долларов; ранее в этом году двое сооснователей покинули компанию, но сейчас численность сотрудников восстановилась до примерно 200 человек. В своём манифесте лаборатория пишет: «Мы верим в то, что сохранять странную энергию — это жизненно важно».