Американская OpenAI сократила контекстное окно Codex до 272 тысяч токенов, вызвав недовольство разработчиков

Репортаж от Wedoany，Компания OpenAI недавно обновила своего кодового агента Codex, сократив размер входного контекстного окна в конфигурации по умолчанию с 372 000 до 272 000 токенов. Это изменение означает, что кодовый агент сохраняет меньше кода, истории диалогов и другой информации в рамках сессии, а также быстрее сжимает старый контекст для освобождения места. Некоторые разработчики выразили недовольство в социальных сетях по поводу сокращения окна токенов, полагая, что это может снизить эффективность Codex в длительных сессиях кодирования, требуя более частого управления контекстом или сброса сессии.

Аналитики отмечают, что сокращение контекстного окна может повлиять на производительность разработчиков и внедрение автономных агентов в корпоративные рабочие процессы. Главный аналитик Pareekh Consulting Парих Джайн заявил, что это изменение оказывает ограниченное влияние на повседневные задачи кодирования, но может затронуть крупные кодовые базы, рефакторинг всего репозитория и длительные сессии. Он добавил, что ИИ-агенты будут быстрее забывать ранние части длительных сессий кодирования, и разработчикам придётся чаще подводить итоги или перезагружать контекст, что увеличивает риск повторного поиска и потери ранних решений.

Облачный ассистент ZopDev, поставщика услуг FinOps, Мускан Бандта считает, что необходимость ручного управления контекстом противоречит изначальной цели таких инструментов, как Codex, которые обещают повышение производительности «из коробки». Она отметила, что многие разработчики сообщают, что теперь сессии тратят больше времени на сжатие, чем на фактическую работу, и указала, что сокращение контекста напрямую не увеличивает счета, но приводит к большему количеству повторных попыток и сжатий, а также к дополнительным затратам времени инженеров.

Менеджер по разработке ИИ в IT-консалтинговой компании Kanerika Амит Джена заявил, что сокращение контекста вынудит команды разработчиков выбирать между двумя вариантами: либо принять, что агент будет рассуждать при неполной контекстной информации, либо научиться управлять новыми проектными ограничениями. Он считает, что командам разработчиков необходимо проектировать рабочие процессы с активным управлением контекстом, включая разбиение работы на более мелкие задачи, использование механизмов поиска и мониторинг потребления контекста. Бандта отметила, что такие вынужденные проектные ограничения замедлят внедрение агентно-ориентированных рабочих процессов на предприятиях, поскольку контекст является рабочей памятью агента, и его сокращение на треть изменит диапазон, в котором ему можно доверять.

В более широком смысле аналитики считают, что этот инцидент напоминает предприятиям о необходимости избегать тесной привязки процессов разработки программного обеспечения к текущим эксплуатационным характеристикам хостинговых ИИ-платформ кодирования, поскольку ограничения контекста, ценообразование, поведение во время выполнения и доступность моделей могут меняться без предварительного уведомления или с минимальным уведомлением. Джайн рекомендует предприятиям не полагаться на какое-либо одно контекстное окно, постоянно проводить бенчмаркинг ИИ-инструментов кодирования на реальных рабочих нагрузках и строить рабочие процессы вокруг поиска, модульного проектирования и оркестрации агентов. Джена согласился с этой точкой зрения, заявив, что правильный подход — создание конвейеров разработки с поддержкой ИИ, которые могут корректно деградировать при изменении операционных параметров, и рекомендовал предприятиям рассматривать хостинговые ИИ-платформы кодирования как критически важные программные зависимости, сохраняя достаточную гибкость.