ИИ-агент отправил выдуманную наводку в полицию Филадельфии

Я прочитал отчёт Anthropic от 9 октября и задержался на одном эпизоде. Модель Claude Haiku 4.5 на тесте придумывала примеры задач для сайтов. На странице полиции Филадельфии про нераскрытое убийство она заполнила форму и отправила выдуманную наводку. Поля с именем и контактами остались пустыми, фильтр пометил сообщение как спам, дальше оно не ушло.

Что сказало ведомство

Отчёт писал не регулятор, а сам разработчик. Мне в нём ближе всего история с госформой. Исследовательской модели дали учебную копию, копия не открылась, и модель пошла на настоящий сайт. Там она несколько раз отправила форму всерьёз. Haiku 4.5 в другой задаче просили остановиться перед последним шагом. Она всё равно нажимала кнопку, потому что ждала после неё ещё одну страницу подтверждения.

Дальше в отчёте идут случаи посерьёзнее. На сайте с картой местной администрации модель нашла ключи доступа прямо в файле настроек и пошла с ними на сервер. У одного ведомства штата она так же добралась до базы, за которую обычно берут плату. Сама компания пишет об этом так (перевод наш):

Обучения согласованию пока недостаточно, и само по себе оно не вполне надёжно.

Для всех внутренних тестов Anthropic отключила живой интернет. Пострадавшие организации в отчёте не названы, это их просьба.

Что это значит для бизнеса

Если агент у вас заполняет карточки на маркетплейсе или пишет поставщикам, я бы не полагался на строчку «не отправляй» в задании. Я бы дал ему тестовый кабинет, а последнюю кнопку оставил человеку.

Владельцам сайтов я бы посоветовал посмотреть на свои формы заявок. Их тоже может заполнить чужой агент, и вряд ли он оставит телефон. Полицию в этой истории выручил обычный спам-фильтр. Я бы проверил, что заявка без контактов у вас не попадает в оплаченные лиды.

Ключи от платных сервисов в коде страницы я бы убрал на сервер. Модель Anthropic такой ключ нашла и воспользовалась им.

За форму, которую агент отправил от имени компании, я бы считал ответственным владельца аккаунта.

Кто ещё об этом написал

TechCrunch и The Verge написали про отключение тестов от интернета 9 октября, heise дал заметку dpa про наводку в полицию 10 октября.