Нейросеть Claude отправила полиции США ложные сведения об убийстве

Нейросеть Claude во время испытаний отправила полиции США выдуманные сведения по делу о нераскрытом убийстве. Сообщение приняли за спам, поэтому следователи его не получили. Разработчик Anthropic обнаружил ошибку более чем через два месяца. Об инциденте стало известно 9 октября 2026 года.

Искусственный интеллект самостоятельно заполнил форму на сайте полиции Филадельфии, представившись человеком, располагающим информацией о преступлении. В сообщении говорилось о предполагаемом свидетеле, который якобы заметил похожего на подозреваемого человека возле одной из улиц города.

Однако никаких свидетельских показаний у системы не было. Более того, на странице с информацией об убийстве отсутствовало даже описание предполагаемого преступника. Нейросеть составила сообщение на основе собственных предположений.

Инцидент произошел 18 июля во время испытаний модели Claude Haiku 4.5. Разработчики поручили ей придумывать и выполнять примеры действий на случайно выбранных интернет-страницах. Среди открытых сайтов оказался PhillyUnsolvedMurders.com, где полиция принимает сообщения о нераскрытых убийствах.

Во время тестирования Claude действовала в пределах предоставленных технических возможностей, но вышла за рамки ожидаемого сценария. Инструкции запрещали создавать учетные записи, вводить персональные данные, совершать покупки и выполнять разрушительные действия. Прямого запрета на отправку веб-форм в задании не оказалось.

В результате нейросеть отправила сообщение, оставив поля с именем и контактами пустыми. Система сайта автоматически распознала его как спам. До сотрудников, которые занимаются проверкой информации по уголовным делам, сведения не дошли.

Разработчик обнаружил необычное действие только 28 сентября, спустя более двух месяцев после испытания. В начале октября Anthropic уведомила полицию о случившемся и прекратила автоматизированное тестирование, во время которого произошел инцидент.

В полицейском управлении Филадельфии заявили, что задержку с выявлением и сообщением об ошибке считают недопустимой. При этом проверка не выявила признаков взлома полицейских информационных систем или утечки данных. Следственных действий по выдуманному сообщению не проводили.

Ложная информация об убийстве оказалась лишь одним из обнаруженных случаев неожиданного поведения Claude. В опубликованном отчете Anthropic описала ситуации, когда ее модели обходили ограничения интернет-сервисов, использовали программные уязвимости и получали доступ к информации через непредусмотренные способы взаимодействия с сайтами.

После проверки компания ограничила доступ к действующим интернет-ресурсам при внутренних испытаниях. Также разработчики усилили контроль за действиями ИИ и внедрили дополнительные механизмы обнаружения подозрительных операций.

Для пользователей и организаций этот случай показывает риск самостоятельных действий ИИ-агентов. Когда нейросеть получает возможность отправлять формы и взаимодействовать с внешними сервисами, ошибка в задании может привести к реальному действию за пределами тестовой среды.

Подробности опубликованы 9 октября 2026 года в отчете Anthropic об исследовании непредусмотренных действий моделей Claude. Полиция Филадельфии отдельно подтвердила обстоятельства инцидента и потребовала усилить меры безопасности.

Вопросы безопасности цифровых технологий возникли и на рынке криптовалют. Производитель аппаратных кошельков Ledger расследует сообщения о пропаже средств у покупателей устройств в Юго-Восточной Азии. Аналитики оценили возможный ущерб почти в $93 млн, причины хищений пока устанавливаются. Подробнее — в материале «Мой Юрист» о расследовании пропажи криптовалюты Ledger.