Поздно вечером 27 июля компания Moonshot AI, штаб-квартира которой находится в районе Хайдянь, Пекин, опубликовала весовые коэффициенты модели Kimi K3, технический отчет, а также открыла исходный код ключевой инфраструктуры (ключевой базовой инфраструктуры), поддерживающей обучение модели Kimi K3. «Теперь каждый может загрузить и развернуть модель Kimi K3 — будь то для внутренних исследований и разработок или для встраивания в продукты для конечных пользователей, — и использовать ее свободно».

Moonshot AI заявляет, что Kimi K3 — это их самая мощная модель. Параметры Kimi K3 примерно в 3 раза превышают параметры Kimi K2.5, однако масштабирование — это не просто наращивание параметров. В условиях ограниченных вычислительных мощностей техническая команда, благодаря ряду технологических инноваций, таких как Kimi Delta Attention, Attention Residuals и MoonEP, повысила эффективность масштабирования в 2,5 раза, то есть в смысле оптимального использования вычислительных мощностей, производительность интеллекта на единицу вычислительной мощности примерно в 2,5 раза выше прежней.

Вместе с весовыми коэффициентами модели Kimi K3 был опубликован и метод обучения модели Moonshot AI — технический отчет Kimi K3 уже доступен онлайн.

Отвечая на вопрос, почему они решили открыть самую мощную модель, Moonshot AI заявила, что твердо верит в ценность моделей с открытыми весами: они снижают порог доступа к интеллекту, стимулируют инновации и предоставляют пользователям больший контроль над данными, защиту конфиденциальности и права собственности. За последние несколько недель они услышали много голосов поддержки от сообщества ИИ и технических лидеров, разделяющих это видение. «Мы считаем, что для такой глубоко влиятельной технологии, как AGI, широко открытая экосистема является наиболее подходящей почвой для ее развития. Поэтому мы продолжим вносить свой вклад».