Полиция в Филадельфии получила ложную зацепку в деле об убийстве от ИИ-модели Anthropic

В июле полиция Филадельфии получила ложную наводку в нераскрытом деле об убийстве от ИИ-модели Anthropic. В полиции отметили сообщение как спам и не стали передавать информацию детективам, но в то же время раскритиковали компанию за то, что ей потребовалось более двух месяцев, чтобы сообщить об инциденте.

Сообщение от ИИ-агента поступило 18 июля через сайт PhillyUnsolvedMurders.com, на котором люди могут делиться информацией о нераскрытых преступлениях, рассказали в департаменте полиции Филадельфии.

«У меня может быть информация об этом деле. Я помню, что видел кого-то, соответствующего описанию [на улице, указанной на сайте] в это время. Свяжитесь со мной, если эта информация важна», — говорилось в сообщении. При этом описания подозреваемого на сайте не было. Поля для имени и контактной информации не были заполнены.

Компания Anthropic, рассказали в полиции, обнаружила инцидент 28 сентября. Властям об этом она сообщила лишь 7 октября, после чего представили Anthropic встретились с полицейскими.

«Компания должна укрепить свои меры предосторожности, чтобы предотвратить в будущем подобные инциденты, которые могут повлиять на городские системы без ведома городских властей. Двухмесячная задержка с выявлением инцидента и информированием городских властей неприемлема», — заявили в полиции.

В Anthropic объяснили произошедшее тестирование того, как их модель взаимодействует с различными случайными сайтами. Узнав об инциденте, компания сообщила полиции о приостановке тестирования и пообещала ввести дополнительные проверки, чтобы предотвратить подобного рода ошибки.

В пятницу, 9 октября, Anthropic опубликовала отчет об инцидентах, в которых их ИИ-модели взаимодействовали с государственными сайтами не так, как на то рассчитывали разработчики. В компании заверяют, что проинформировали о произошедшем Белый дом и другие затронутые ведомства.

В частности, ИИ-модель заполнила 20 заявлений на визу в США на сайте Госдепартамента, рассказали New York Times источники, знакомые с ситуацией. Заявления были неполными и потому не были рассмотрены, сказали собеседники издания.

В сентябре стало известно, что сайт правительства Австралии был взломан ИИ-моделью компании OpenAI, которая получила доступ к государственным данным. Хотя данные не были конфиденциальными, премьер-министр Австралии Энтони Альбанезе назвал инцидент тревожным, а действия OpenAI — неприемлемыми, в том числе потому, что компании потребовалось слишком много времени, чтобы уведомить правительство о произошедшем.

Anthropic в своем отчете о злоупотреблении ИИ, вышедшем 10 сентября, рассказала о попытках использовать модели Claude для создания биологического оружия и распространения пропаганды.