Корейская компания Rebellion успешно запустила ИИ-модель SK Telecom с 500 миллиардами параметров

Репортаж от Wedoany，Корейская компания Rebellion успешно запустила независимую базовую модель искусственного интеллекта (ИИ) SK Telecom «A.X K1 (K1)» на собственном ИИ-сервере «RebelServer» и на этой основе реализовала сервис ИИ-агентов, поддерживающий одновременный доступ нескольких пользователей, подтвердив эксплуатационную осуществимость крупномасштабных ИИ-сервисов при сочетании отечественных крупных ИИ-моделей с нейропроцессорными блоками (NPU).

Компания Rebellion объявила 23-го числа, что в ходе данной демонстрации на RebelServer была запущена модель K1 с числом параметров, превышающим 500 миллиардов (500B). Компания заявила, что только за счет конфигурации одного сервера удалось достичь производительности ИИ-выводов на уровне глобальных высокопроизводительных серверов с графическими процессорами (GPU), тем самым повысив эффективность построения и эксплуатации центров обработки данных.

Стороны добились повышения производительности за счет сочетания структуры смеси экспертов (MoE) модели K1 с технологиями программной оптимизации Rebellion. Компания Rebellion применила технологию эффективного распределения множества вычислительных операций на полупроводниковые чипы, что позволило одному серверу без узких мест обрабатывать запросы от нескольких пользователей. В ходе демонстрации была показана функциональность «ИИ-агента картографического типа (Map)»: несколько пользователей одновременно подключались и вводили разные вопросы, например, «аптеки, работающие в выходные», а модель K1 в реальном времени генерировала ответы и отображала результаты на карте. Компания Rebellion считает, что это подтвердило возможность стабильной эксплуатации многопользовательских ИИ-сервисов только с использованием отечественных ИИ-моделей и отечественных NPU.

Представитель Rebellion Пак Сон Хён заявил, что данная демонстрация является примером суверенного ИИ, когда только с использованием отечественных сверхкрупных моделей и отечественных NPU можно эксплуатировать крупномасштабные ИИ-сервисы, а также доказала эффективность инфраструктуры и ее практическую пригодность. Сообщается, что Rebellion в рамках проекта независимых базовых ИИ-моделей Министерства науки и информационно-коммуникационных технологий участвует в качестве члена альянса SK Telecom и проводит верификацию ИИ-инфраструктуры на основе отечественных NPU. Компания также планирует на основе опыта эксплуатации таких сервисов реального времени, как «A. Сводка телефонных разговоров», способствовать распространению отечественной ИИ-инфраструктуры.