Южнокорейская компания Cafe24 запускает LLM-маршрутизатор, интегрирующий более 120 моделей ИИ

Репортаж от Wedoany，Компания Cafe24 23-го числа объявила о запуске услуги по эксплуатации инфраструктуры ИИ под названием «Маршрутизатор сверхбольших языковых моделей (LLM)», которая позволяет интегрировать и использовать более 120 моделей ИИ через один интерфейс прикладного программирования (API).

Основная функция LLM-маршрутизатора — выступать в роли «оркестратора», подключая более 120 интерфейсов основных моделей ИИ, таких как ChatGPT, Claude, Gemini, к единой платформе, и автоматически выбирать, распределять и переключать подходящие модели в зависимости от введённого пользователем запроса.

Сервис поддерживает использование через один API более 120 моделей ИИ, включая серию моделей GPT от OpenAI, а также Claude, Gemini, DeepSeek, Qwen, Llama и другие. Его ядром является механизм маршрутизации, который на основе содержимого введённого пользователем запроса анализирует типы задач, такие как кодирование, рассуждение, перевод, творчество, и автоматически подключает наиболее подходящую модель ИИ. Если пользователь заранее указал диапазон доступных моделей, система автоматически подключается только в пределах этого диапазона, избавляя пользователя от необходимости сравнивать или выбирать модели по отдельности.

Сервис также предоставляет функцию установки приоритета поставщиков услуг ИИ в соответствии с критериями пользователя. Среди нескольких поставщиков услуг ИИ, предлагающих одну и ту же модель, система автоматически подключается к наиболее подходящему поставщику в зависимости от выбранных пользователем критериев, таких как стоимость, скорость, объём обработки. Например, для одной и той же модели Claude, если пользователь выбирает критерий стоимости, система автоматически подключается к поставщику с наилучшей эффективностью затрат; если критерий скорости — к поставщику с самым быстрым откликом. Кроме того, сервис поддерживает функции «белого списка» и «чёрного списка», позволяя пользователю указывать, каких поставщиков услуг ИИ разрешено или запрещено использовать, что даёт возможность гибко контролировать диапазон автоматического подключения.

Для обработки ситуаций, когда конкретная модель ИИ не отвечает, LLM-маршрутизатор поддерживает «функцию автоматического переключения». Пользователь может заранее настроить основную модель и альтернативные модели. Когда основная модель не отвечает, следующая кандидатская модель автоматически берёт на себя обработку запроса. Например, если основная модель Claude не отвечает, заранее указанная другая модель автоматически принимает задачу, что позволяет построить среду непрерывной работы.

Пользователи могут интуитивно управлять несколькими моделями ИИ в одной среде. С помощью «информационной панели в реальном времени» пользователи могут на одном экране просматривать такие данные, как количество запросов, стоимость, тенденции использования токенов, долю затрат каждой модели, а также соотношение успешных и неудачных попыток. Сервис также поддерживает детальное ведение записей на уровне запросов и отслеживание использования по командам, проектам и средам, помогая пользователям более эффективно контролировать использование ИИ и структуру затрат.

Пользователи также могут подключать собственные ключи моделей ИИ к LLM-маршрутизатору для использования. В режиме «BYOK (Bring Your Own Key)» пользователь регистрирует ключи используемых моделей, таких как GPT, Claude, Gemini, после чего может напрямую использовать эти модели в среде LLM-маршрутизатора и напрямую управлять затратами на использование моделей ИИ.

LLM-маршрутизатор использует модель оплаты на основе кредитов с пополнением. Пользователи получают бесплатный кредитный лимит при регистрации и могут сразу же опробовать сервис.

Компания Cafe24 планирует в будущем продолжать расширять поддержку новых моделей ИИ и поставщиков услуг ИИ, а также последовательно развивать функции, повышающие удобство эксплуатации и управления ИИ.

Представитель Cafe24 Ли Джэсок отметил, что с быстрым ростом количества типов моделей ИИ эффективное подключение и эксплуатация этих моделей становятся новой задачей. Он заявил, что компания продолжит добросовестно выполнять роль соответствующей инфраструктуры, чтобы пользователи могли удобно использовать различные модели ИИ.

Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com