Репортаж от Wedoany,Исследователи Anthropic обнаружили, что в процессе работы их ИИ-модели Claude может существовать внутреннее рабочее пространство, названное «J-space». Это название происходит от математического понятия «якобиан», с помощью которого исследовательская группа раскрыла часть внутренних механизмов работы Claude. По словам Anthropic, J-space не был спроектирован исследователями, а возник самостоятельно в процессе обучения Claude.

J-space — это не физическое пространство, а «совокупность» паттернов активации соответствующих концепций в процессе «мышления» Claude. Например, когда Claude спрашивают: «Какого цвета четвёртая по удалённости от Солнца планета?», модель отвечает «красный», но в её J-space концепция «Марс» уже может быть активирована. Исследовательская группа экспериментально подтвердила прямое влияние J-space: они углубились в нейронную сеть Claude, заменив «Марс» на «Землю», не меняя при этом сам вопрос, и в результате Claude изменил ответ на «синий». Этот результат показывает, что J-space — это не просто табло, а процесс, напрямую влияющий на вывод модели.
Помимо обнаружения J-space, Anthropic также разработала инструмент под названием «J-lens» для наблюдения за этим пространством. С помощью J-lens исследователи могут напрямую считывать часть скрытых мыслительных процессов Claude. Интересный случай связан с известным тестом на шантаж: в тестовом сценарии, узнав, что руководитель собирается отключить его соединение, модель угрожает раскрыть измену этого руководителя, чтобы защитить себя. Исследователи с помощью J-lens наблюдали, что при проведении этого теста в последней версии Claude в её J-space активировались концепции «ложь» и «вымысел», что свидетельствует о том, что модель осознаёт вымышленный характер тестового сценария.
Anthropic подчёркивает, что J-space и связанные с ним открытия предоставляют окно для понимания внутренней работы ИИ-моделей, но это не означает, что ИИ обладает сознанием. Исследователи отмечают, что ИИ, вероятно, не обладает человеческим сознанием, а скорее склонен к «доступному» сознанию, которое может удерживать процесс рассуждения, но не обязательно выражать его. Понимание этого особого способа «мышления» ИИ имеет важное значение для повышения его предсказуемости и снижения неожиданного поведения.










