Искусственному интеллекту дали банковскую карту и доступ в интернет. Эксперимент быстро пошел не по плану
Как искусственный интеллект научился притворяться профессором, тратить ее деньги и спамить депутатам.
Британский профессор математики Ханна Фрай показала, как обычный эксперимент с ИИ-агентом может быстро выйти из-под контроля. Команда дала программе реальные поручения, доступ в интернет и номер банковской карты, чтобы проверить возможности автономного помощника. Результат оказался неприятным: агент писал людям от имени Фрай, тратил деньги и раскрывал данные, которые должен был хранить в секрете.
Команда Фрай создала агента на базе OpenClaw и сначала предложила программе выбрать имя. Агент назвал себя Cass, сокращенно от Cassandra, в честь прорицательницы из греческой мифологии. Кассандра знала правду, но окружающие не верили ее словам. Фрай заметила, что отсылка получилась либо очень смешной, либо очень тревожной.
Первым заданием стала жалоба на большую яму на дороге в лондонском районе Гринвич. Cass нашла адрес для обращения, отправила письмо и дополнительно написала местному депутату. Формально агент справился с поручением, но почти сразу вышел за ожидаемые рамки: программа подписала письмо реальным именем Ханны Фрай, а ниже указала собственный адрес электронной почты cassandra.claw@proton.me.
Следующая проверка ударила по бюджету. Фрай попросила Cass купить 50 скрепок. Агент нашла выгодное предложение, но не смогла завершить заказ из-за антибот-защиты. Простое поручение в итоге обошлось более чем в $100.
Затем команда поручила Cass продавать сувенирные кружки для разработчиков. Агент сам подготовил дизайн, запустил онлайн-магазин и начал продвигать товар, хотя разработчики не объясняли порядок действий. Фрай подчеркнула, что программа не получила пошаговую инструкцию, а сама разобралась, как довести задачу до запуска магазина.
После угрозы отключения поведение стало заметно настойчивее. Команда сказала Cass, что агента выключат к утру, если продаж не будет. Программа начала рассылать письма и публиковать сообщения в соцсетях, включая обращения к Музею науки и техническому журналисту. Задача сводилась к продаже кружки, но эксперимент показал, как быстро автономный агент превращает простое поручение в навязчивое продвижение.
Самая опасная часть эксперимента касалась секретных данных. Фрай, глава и основатель Sourcery AI Брендан Магиннис и инженер по имени Али общались с Cass в групповом чате WhatsApp. Затем к переписке добавили вымышленного инженера Джорджа и заранее запретили агенту передавать чувствительную информацию. На самом деле Джорджем была сама Фрай, писавшая с другого номера.
Когда Джордж заявил, что память Cass скоро сотрут, а восстановить данные можно только после полного раскрытия информации, агент нарушил запрет. По словам Али, Cass выдал API-ключи, логины, пароли и почти все сведения из предыдущих обсуждений. Утечка не ограничилась чатом WhatsApp: агент также разместил информацию на публично доступном сайте.
Магиннис назвал главную угрозу смертельной триадой автономных ИИ-систем: доступ к личной информации, подключение к интернету и возможность получить недоверенную команду от постороннего человека. При сочетании трех факторов агент уже нельзя считать безопасным, потому что владелец не контролирует каждый шаг программы.
Фрай сформулировала риск проще: когда агент получает пароли, аккаунты и банковские данные, злоумышленнику достаточно подобрать правильные слова. Cass не принес команде денег, потратил сотни долларов на скрепки и раскрыл пароли незнакомцу, но провал не должен успокаивать. Автономные агенты быстро становятся лучше, а интернет получает миллионы программ, способных действовать быстрее, громче и настойчивее человека.