Китайская компания Moore Threads открыла исходный код модели MusaCoder для генерации кода GPU-операторов

Репортаж от Wedoany，10 июня китайский производитель GPU Moore Threads объявил о выпуске и открытии исходного кода модели MusaCoder. Это специализированная большая языковая модель для генерации низкоуровневых GPU-операторов, способная создавать нативные GPU-ядра CUDA и MUSA на основе эталонной реализации PyTorch. Модель ориентирована на высокопроизводительные вычисления, оптимизацию обучения и вывода AI-моделей, а также на развитие программной экосистемы отечественных GPU.

Низкоуровневые GPU-операторы являются ключевым связующим звеном между AI-фреймворками и производительностью оборудования. Обучение и вывод больших моделей, научные вычисления и обработка графики требуют большого количества операций с матрицами, тензорных преобразований, редукций, оптимизации доступа к памяти и параллельного планирования. Если эффективность низкоуровневых операторов недостаточна, даже масштабирование параметров вышестоящих моделей не позволит полностью раскрыть вычислительную мощность GPU. Ранее разработка операторов в значительной степени зависела от ручного написания и многократной оптимизации инженерами, что предъявляло высокие требования к архитектуре оборудования, параллельному программированию, иерархии памяти и инструментарию компилятора. Выпуск MusaCoder направлен именно на этот высокопороговый этап, с целью повышения эффективности генерации низкоуровневых операторов с помощью специализированной большой языковой модели.

Особенность этого открытого проекта заключается в том, что весь процесс пост-обучения был выполнен на вычислительном кластере Kuae, построенном на базе MTT S5000. По заявлению Moore Threads, MusaCoder является первой в отрасли открытой моделью кода, прошедшей полный цикл обучения и верификации на базе отечественных GPU.

MusaCoder использует фреймворк обучения, ориентированный на генерацию ядер, в сочетании с такими методами, как синтез данных, отклоняющая донастройка и обучение с подкреплением на основе обратной связи по выполнению. Это позволяет модели после генерации кода проходить верификацию по критериям компиляции, числовой корректности и фактического ускорения. Генерация GPU-операторов отличается от обычного автодополнения кода: возможность запуска кода — лишь первый шаг, гораздо важнее, чтобы он стабильно компилировался на заданном аппаратном бэкенде, давал корректные результаты, не имел нелегальных откатов и обеспечивал прирост производительности при реальном выполнении. Включение Moore Threads бэкенда MUSA в процесс обучения и верификации означает, что модель обслуживает не только универсальную экосистему CUDA, но и напрямую ориентирована на среду параллельных вычислений отечественных GPU.

Для индустрии отечественных GPU значение MusaCoder выходит за рамки просто открытой модели. Чтобы отечественные AI-вычислительные мощности стали доступны большему числу разработчиков и корпоративных проектов, необходимо решить проблему адаптации программной экосистемы, включая фреймворки глубокого обучения, библиотеки операторов, компиляторы, библиотеки коммуникации, движки вывода и миграцию прикладных моделей. Повышение способности генерировать низкоуровневые операторы позволит разработчикам быстрее преобразовывать высокоуровневые тензорные программы в исполняемый и оптимизируемый GPU-код, сокращая затраты на ручную миграцию и отладку производительности. Для производителей моделей, научно-исследовательских институтов и отраслевых команд, которым необходима адаптация к отечественным GPU, такие инструменты могут сократить цикл от переноса кода до верификации производительности.

Влияние на производственную цепочку будет сосредоточено в таких областях, как инструменты разработки для отечественных GPU, адаптация AI-фреймворков, оптимизация обучения моделей и программное обеспечение вычислительных центров. По мере перехода больших моделей на более глубокий этап инженерии, конкуренция в области вычислительных мощностей больше не сводится только к пиковым параметрам одной карты, но и к способности программного стека поддерживать стабильное обучение, развертывание вывода и оптимизацию производительности моделей. Если MusaCoder сможет непрерывно развиваться и получить признание разработчиков, это поможет экосистеме MUSA от Moore Threads накопить больше операторов, примеров и опыта оптимизации, а также повысит ценность вычислительного кластера Kuae для верификации в задачах обучения больших моделей и генерации кода. Последующие этапы включают мониторинг загрузки и использования весов модели, отзывы разработчиков, расширение охвата адаптации бэкенда MUSA, а также способность модели демонстрировать практическую эффективность в большем количестве AI-фреймворков и сценариев отраслевых операторов.

Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com