Репортаж от Wedoany，Южнокорейская компания Cafe24 недавно представила маршрутизатор для больших языковых моделей (LLM), который подключает более 120 моделей генеративного ИИ и автоматически выбирает наиболее подходящую модель для таких задач, как кодирование, перевод и творчество, в зависимости от запроса пользователя.
С распространением явления «мультихоминга» (multihoming) среди генеративных ИИ, таких как ChatGPT, Claude, Gemini и DeepSeek, пользователям приходится самостоятельно сравнивать и выбирать модели, что увеличивает нагрузку. LLM-маршрутизатор Cafe24 объединяет эти модели через один интерфейс прикладного программирования (API), стремясь снизить нагрузку на принятие решений пользователями.
Операторы сервисов могут настраивать используемые модели в зависимости от типа задачи, стоимости, скорости ответа и производительности модели, а также поддерживают автоматическое переключение на заранее указанную альтернативную модель в случае сбоя конкретной модели, обеспечивая непрерывность выполнения задач.
На рынке генеративного ИИ возник «парадокс выбора», когда увеличение количества вариантов может привести к задержке принятия решений или снижению удовлетворенности после выбора. Каждый ИИ имеет свои преимущества, и пользователи чередуют использование нескольких сервисов в зависимости от целей задачи, таких как перевод, поиск или кодирование, но процесс сравнения моделей и повторного ввода одних и тех же вопросов удлиняет время принятия решений. Цель запуска LLM-маршрутизатора Cafe24 — решить эту проблему, позволяя пользователям сосредоточиться на самой задаче, а не на выборе модели.
Согласно «Обследованию фактического состояния дополнительных коммуникационных услуг на 2025 год», проведенному Министерством науки и информационно-коммуникационных технологий Южной Кореи, 53,2% пользователей генеративного ИИ одновременно используют более двух сервисов, и модель мультихоминга уже стала распространенной. За рубежом услуги по подключению и посредничеству моделей ИИ уже сформировали рынок: например, OpenRouter, основанный в 2023 году, предоставляет более 400 моделей генеративного ИИ от 70 ИИ-компаний через один API, и, по сообщениям, ежемесячно обрабатывает более 100 триллионов токенов, имея более 10 миллионов пользователей по всему миру.
Cafe24, используя LLM-маршрутизатор в качестве отправной точки, выходит на южнокорейский рынок посредничества в сфере генеративного ИИ. Его цель — создать среду, в которой модели автоматически распределяются в зависимости от цели задачи, стоимости, скорости и производительности, а также повысить эффективность и стабильность работы сервисов генеративного ИИ за счет автоматического выбора модели и автоматического переключения при сбоях, помогая пользователям сосредоточиться на самой выполняемой задаче.
