Anthropic предупреждает о скором появлении саморазвивающегося искусственного интеллекта. Это концепция RSI, и компания подошла к ней вплотную
Anthropic предупредила, что её искусственный интеллект может вскоре достичь уровня, при котором начнёт резко ускорять разработку собственных преемников. Компания признала, что подобный скачок способен произойти быстрее, чем инженеры успеют подготовить необходимые меры безопасности.
Предупреждение появилось 2 ноября в обновлённой документации для Комиссии по ценным бумагам и биржам США (SEC), которую Anthropic подала в рамках подготовки к выходу на биржу. Разработчик Claude впервые столь определённо допустил скорое достижение внутреннего порога, связанного с рекурсивным самоулучшением искусственного интеллекта (ИИ), или RSI (Recursive Self-Improvement).
Под RSI понимают процесс, при котором нейросеть помогает создавать более совершенные модели, а новые поколения ускоряют дальнейшие исследования. В предельном варианте искусственный интеллект сможет самостоятельно проектировать и обучать собственных преемников. Однако Anthropic пока говорит лишь о приближении к резкому ускорению разработки благодаря ИИ, а не о полной автономности.
Согласно внутренним оценкам компании, будущие модели могут в ближайшее время преодолеть порог «резко ускоренного прогресса благодаря ИИ», установленный политикой Responsible Scaling Policy. Ни одна из действующих моделей пока не получила соответствующего статуса. Более того, разработчики признают, что прежние скачки возможностей удавалось обнаружить лишь после их фактического появления.
Основания для беспокойства уже есть. К маю 2026 года Claude создавал более 80% кода, который попадал в основную кодовую базу Anthropic. Производительность инженеров по объёму добавленного кода выросла примерно в восемь раз относительно 2024 года. Нейросеть также научилась самостоятельно выполнять сложные задачи, запускать эксперименты и искать ошибки в программных системах.
Однако самостоятельное написание программ ещё не означает способности создавать новый ИИ без участия человека. Claude успешно решает поставленные исследователями задачи, но по-прежнему уступает специалистам в выборе перспективных направлений работы. Именно способность определять цели исследований остаётся одним из главных препятствий на пути к полноценному самоулучшению ИИ.
В документах SEC Anthropic предупреждает ещё об одной опасности. Ошибки, скрытые отклонения и недостатки нынешних моделей могут переходить в следующие поколения, усиливаясь при каждом новом цикле разработки. При слишком быстром прогрессе компания рискует не успевать проверять безопасность систем и устранять возникающие проблемы.
Anthropic не рассчитывает в обозримом будущем безопасно доверить Claude полностью автономное создание передовых моделей без содержательного человеческого контроля. Компания рассматривает изменения политики Responsible Scaling Policy, чтобы сохранить участие специалистов в разработке. Ранее Anthropic уже предлагала замедлять развитие наиболее мощных ИИ-систем, если механизмы безопасности перестанут успевать за их возможностями.