Репортаж от Wedoany，Компания Neurometric AI, специализирующаяся на AI-инфраструктуре, представила автоматизированную платформу токен-инжиниринга и объявила о привлечении $4 млн финансирования, завершенного ранее в этом году. Платформа предназначена для помощи предприятиям в управлении стоимостью и производительностью рабочих нагрузок агентов.
При переходе AI-агентов от экспериментальной стадии к производственной один рабочий процесс может генерировать десятки вызовов моделей. Многие предприятия по-прежнему отправляют каждую задачу передовым моделям (frontier model), хотя более мелкие и дешевые модели могут достигать тех же или лучших результатов. Neurometric оценивает каждый вызов, при необходимости изменяет подсказки (prompt) и направляет каждую задачу к наиболее экономически эффективной модели, способной обеспечить требуемый порог производительности; при отсутствии подходящего варианта создается специально построенная малая языковая модель (small language model). Для простых высокообъемных рабочих нагрузок платформа автоматически генерирует специализированные малые языковые модели для оптимизации скорости и стоимости задач.
«За последний год предприятия доказали, что AI-агенты способны выполнять все более сложные задачи. Теперь им необходимо доказать, что при масштабном развертывании этих агентов их экономическая эффективность остается обоснованной», — заявил генеральный директор Neurometric Роб Мэй. «Каждый вызов модели — это также ценовое решение, и эти решения накапливаются в рабочем процессе агента. Токен-инжиниринг предоставляет предприятиям метод контроля затрат без ущерба для качества».
В настоящее время предприятия полагаются на ручное тестирование и отдельные точечные решения для определения того, какие модели должны обрабатывать различные AI-задачи. С появлением новых моделей на рынке и изменением цен, скорости и производительности эти решения могут быстро устаревать. Neurometric объединяет в одной платформе маршрутизацию моделей (model routing), создание малых языковых моделей и доступ к рынку предварительно обученных специализированных малых языковых моделей (SLM). Его менеджер конечных точек задач (Task Endpoint Manager) оценивает входящие запросы на основе постоянно обновляемых данных о производительности и ценах моделей, а затем направляет каждую задачу в соответствии с требованиями клиента к точности, стоимости и задержке. Когда ни одна существующая модель не соответствует этим требованиям, его автоматический создатель малых языковых моделей (Auto-SLM Creator) строит и предоставляет малую языковую модель для конкретной задачи. Рынок SLM платформы также позволяет клиентам получать доступ к моделям, уже разработанным для распространенных и повторяющихся рабочих нагрузок.
В ходе ранних контактов с клиентами модели, маршрутизированные или созданные через Neurometric, достигли точности до 20 процентных пунктов выше, чем передовые модели, при одновременном снижении затрат и задержки.
Ранее в этом году Neurometric завершил привлечение $4 млн финансирования, в котором приняли участие Betaworks, ex-Ante, Everywhere.vc, Encoded, Vermillion, Abstraction и Mu Ventures, а также бизнес-ангелы, включая соведущего подкаста All-In Podcast Джейсона Калаканиса и технического директора Hubspot Дхармеша Шаха. Эти средства будут направлены на расширение инженерной и AI-исследовательской команд для предоставления дополнительных инструментов оптимизации для основной платформы.
Neurometric позиционирует токен-инжиниринг как дисциплину, которая определяет, как должна выполняться каждая задача в AI-рабочей нагрузке, исходя из требуемого качества, стоимости и скорости. В отличие от промпт-инжиниринга (prompt engineering), который фокусируется на улучшении инструкций для модели, токен-инжиниринг решает, какая модель должна сначала получить задачу и следует ли создать более специализированную модель для ее обработки. По мере того как предприятия развертывают больше AI-агентов, отдельные рабочие процессы генерируют больше вызовов моделей, а количество доступных моделей продолжает расти, ожидается, что потребность в такой способности будет увеличиваться. В настоящее время платформа доступна на сайте neurometric.ai, и компания планирует встретиться с клиентами, инвесторами и представителями СМИ во время AI Engineer World's Fair, которая пройдет с 29 июня по 2 июля в Сан-Франциско.
Данный материал скомпилирован платформой Wedoany. При цитировании материалов, созданных с помощью искусственного интеллекта (ИИ), необходимо обязательно указывать источник — «Wedoany». В случае выявления нарушения прав или иных проблем просим своевременно информировать нас. Сайт оперативно внесёт изменения или удалит материал.Электронная почта: news@wedoany.com
