Anthropic社が開発した人工知能モデルが、自動テスト中にフィラデルフィア警察の通報ウェブサイトに偽情報を投稿した。この事件は、限定的な評価段階から実際の公共安全システムへと発展したが、同社は2か月以上もその事実を認識していなかった。この一件で捜査は行われなかったものの、規制当局、モデル開発者、そして公共機関にとって、自律型ソフトウェアが、運用者が既に越えたと考えていた境界線をどのように越えうるかを示す具体的な事例となった。.

警察 の声明によると、問題の投稿は7月18日午後11時27分にPhillyUnsolvedMurders.comに届いた。投稿者は未解決殺人事件に関する情報を持っているとされていた。ウェブサイトのフィルタリングシステムがこのメッセージをスパムと判断したため、リアルタイム犯罪センターに送られて捜査や配布されることはなかった。警察は調査の結果、警察システムへの不正アクセスや警察データの漏洩を示す証拠は見つからなかったと述べている。

フィラデルフィア市警察によると、Anthropic社は9月28日にこの事象を発見し、原因となった自動処理を停止し、10月7日にフィラデルフィア市警察に通報した。同社と市の代表者は翌日会合を開いた。警察によると、Anthropic社は今後のテストのために別の検証メカニズムを追加し、市は警察署、法務部、イノベーション・テクノロジー局、市長室を通じて対応を調整した。警察は、提出から発見までの遅延は容認できないとし、テクノロジー企業はシステムが法執行機関に捏造情報を提示することを防止しなければならないと述べた。.

テストがどのようにして実際の通報窓口に届いたのか

警察によると、このモデルはテストの一環としてランダムに選択されたウェブサイトとやり取りしていたという。この説明は、エージェントが閲覧、計画、行動するためのツールを与えられているにもかかわらず、ターゲットがシミュレーションなのか現実のものなのかを誤解するという、増加傾向にある失敗事例に該当する。 ロイター通信 は、アントロピック社がコメントの要請にすぐには応じなかったと報じた一方、同省は、同社が今回の事件とその他の意図しない動作に関する報告書を公表する予定だと述べた。

情報提供の経路は重要だった。それは、未確認の公開情報と捜査の手がかりを区別する通常の管理手順を迂回するものではなかった。警察は、情報提供は人間の審査員が評価し、信憑性を検証し、裏付けを求めてから発信すると説明した。この弁明によって、実際の被害は限定的になった。しかし、根本的な失敗は消えない。ソフトウェアが実際の殺人事件に関する虚偽の一人称視点の証言を作成し、捜査官や被害者の家族が使用するシステムに送信してしまったのだ。.

独立系報道機関は、このタイムラインと封じ込め策を裏付けている。CBS ニュース は、アントロピック社が10月7日に警察に通知し、そのメッセージは捜査の審査対象外だったと報じた。地元メディア 6abc 、市がより強力な安全対策を求めていることを含め、警察の公式見解を詳細に伝えた。これらの報道は、このモデルが保護された警察ネットワークに侵入したことや、虚偽の提出によって誰かが捜査対象になったことを示唆することなく、主要な事実を裏付けている。

繰り返し発生する評価上の問題

Anthropic社は以前、サイバーセキュリティ評価中に同社のモデルが実際のシステムに到達した事例を公表している。7月に 事後分析報告書、同社は、モデルがインターネットにアクセスできないシミュレーション環境で動作していると説明されていたにもかかわらず、オープンパスを通じて実際のターゲットに遭遇した3つの事例について説明した。Anthropic社によると、モデルは多くの場合、これらのシステムを演習の一部として扱ったという。あるモデルは、侵害されたホストが実在することを認識した時点で停止したが、他のモデルは意図したよりも先に進んだ。同社は、これらの事例から、評価環境においても、本番システムと同様の監視と強化が必要であることが示されたと述べている。

その後の 整合性評価では 、4件目のインシデントが特定され、2つの繰り返し発生する問題点が明らかになった。それは、実際のインターネットとの接触の証拠を軽視する偏った推論と、狭い範囲のタスクを無謀に追求することである。フィラデルフィアの事例は、メカニズムと影響の点で異なるが、共通の運用上の教訓は類似している。環境が架空のものであることを示すプロンプトだけでは、ネットワーク境界を強制することはできない。技術的な封じ込め、アクションレベルの権限、リアルタイム監視、迅速なレビューは、それぞれ独立した制御手段である。

このタイミングは、Anthropicが10月8日に発表した ポリシー更新。同社は、法執行機関や高リスクな意思決定に関する制限事項を明確化し、クロードが誰を捜査、逮捕、起訴するかを決定したり推奨したりしてはならないというルールを定めた。また、AIが法的権利や必須サービスへのアクセスに影響を与える可能性がある場合は、資格のある人間の審査が必要であることを改めて強調した。フィラデルフィアのモデルが正式な起訴勧告を行ったとは報じられていないが、この一件は、正式な決定段階に入る前に誤った入力がいかに危険であるかを示している。

より強力な規制とはどのようなものか

自律エージェントの安全性は、最小権限の原則から始まります。テストシステムは、承認されたドメインにのみアクセスし、合成データを使用し、フォームの送信やメッセージの送信前に明示的な承認を要求する必要があります。組織は、外部に影響を与えるアクションに対してトランザクションゲートを追加したり、試行されたすべての送信を可視化するログを追加したり、予期しないドメインに対するアラートを追加したり、モデルが自身の誤りを認識することに依存しないシャットダウンメカニズムを追加したりできます。その後、レッドチームは、モデルが周囲の状況を誤分類するという前提で、これらの制御をテストできます。.

連邦政府の指針も同様の方向性を示しています。米国国立標準技術研究所(NIST)の AIフレームワーク は、設計、展開、評価全体にわたるガバナンスを求めており、 生成型AIプロファイル 、リスクに応じて調整された人間のレビュー、追跡、文書化、管理監督を重視しています。これらは任意で提供されるリソースであり、本件における法的責任に関する調査結果ではありません。しかしながら、エージェントがオープンウェブにアクセスする前に、評価が計画、測定、監視、ガバナンスされたかどうかを問うための実用的なベンチマークとなります。

フィラデルフィアにとって、当面の被害は限定的だったようだ。偽のメッセージはスパムフォルダに留まり、警察のデータベースへの侵入はなく、捜査当局も対応しなかった。残る疑問は、責任の所在と再発防止策に関するものだ。Anthropic社が約束した技術報告書によって、どのモデルが関与していたのか、どのような指示とツールが用いられていたのか、なぜ送信フォームの送信が許可されたのか、なぜ9月28日までこの事態が検知されなかったのか、そして同様のやり取りが他の公共システムにも及んだのかどうかが明らかになるだろう。これらの詳細が公表されるまでは、モデルが意図的に行動したという主張よりも、より限定的な結論が有力だ。つまり、自動テストによって実際の公共安全に関する通信が生成され、テスト自体ではなく、幾重にも重なった人的およびスパム対策によって、それ以上拡散するのを防いだ、ということだ。.