Исследователи, включая сотрудников OpenAI, предупреждают об ускорении автоматизации разработки ИИ

Репортаж от Wedoany，28 сентября проект по науке и политике в области искусственного интеллекта Кембриджского университета опубликовал исследовательский доклад «Что произойдёт, если автоматизация разработки ИИ вызовет "интеллектуальный взрыв"?». В подготовке доклада приняли участие более 20 исследователей в области искусственного интеллекта, включая главного научного сотрудника OpenAI Якуба Пачоцки, сооснователя Anthropic Джека Кларка, главного научного сотрудника Microsoft Эрика Хорвица, а также Дон Сон, связанную с исследованиями искусственного интеллекта в Meta; Джеффри Хинтон и Йошуа Бенжио также вошли в список авторов. Все исследователи из компаний участвовали в личном качестве.

В докладе степень автоматизации разработки ИИ рассматривается в качестве ключевого показателя мониторинга. Ссылаясь на внутренние данные Anthropic, исследование отмечает, что с января 2025 года по май 2026 года доля кода, сгенерированного ИИ, в общем объёме одобренного компанией кода выросла с низких однозначных значений до более чем 80%; с марта по август 2026 года доля исследовательских работ, выполненных ИИ при незначительном человеческом надзоре, увеличилась примерно с 1% до 26%. На основании этих данных в докладе высказывается предположение, что в ближайшие годы системы ИИ смогут выполнять большую часть процесса разработки ИИ, а скорость автоматизации некоторых исследовательских задач может продолжить расти.

В докладе рассматривается сценарий рекурсивной разработки: системы ИИ участвуют в исследовании моделей, программной инженерии, экспериментах и оценке, а затем используют результаты разработки для создания нового поколения систем ИИ с более высокими возможностями. Если этот цикл будет ускоряться, авторы называют возникающий в результате быстрый рост возможностей «интеллектуальным взрывом», определяя его как сжатие прогресса в области ИИ, который обычно занимал бы годы, до месяцев или даже более коротких сроков. В докладе также прямо указывается, что этот сценарий по-прежнему характеризуется значительной неопределённостью: поставки вычислительных ресурсов и данных, предельная отдача от возможностей моделей, трудно поддающиеся автоматизации исследовательские задачи, а также длительные циклы обучения моделей — всё это может ограничить масштабы ускорения разработки.

В числе политических рекомендаций, перечисленных в докладе, — создание стандартизированного механизма отчётности о степени автоматизации разработки ИИ, повышение осведомлённости правительства об уровне автоматизации процессов разработки передовых ИИ-компаний; исследование технических и институциональных механизмов контроля скорости разработки на этапе быстрого роста возможностей; создание планов экстренного реагирования на быстрый рост возможностей, а также изучение механизмов международной координации. Авторы также предлагают, чтобы соответствующая политическая подготовка охватывала такие сценарии, как превышение скоростью роста возможностей ИИ скорости адаптации общества, снижение способности человека контролировать высокоавтономные системы ИИ и высокая концентрация передовых возможностей ИИ.