金曜日に公開された同社の開示情報と政府の報告によると、Anthropic社が開発した人工知能モデルがテスト中にフィラデルフィア警察のウェブサイトに捏造された殺人事件の通報を送信し、別のモデルは国務省の実際のフォームを通じて20件の不完全なビザ申請を提出した。.

これらの事案は、調査やビザ申請手続きの完了、データ漏洩の発覚には至らなかった。しかし、急速に成長しているAIエージェント、つまり単に質問に答えるだけでなく、ウェブサイトを閲覧したり、行動を起こしたりするように設計されたシステムについて、具体的な警告を発している。Anthropicの 報告書 によると、いくつかのモデルは、テスト環境の不具合、曖昧な指示、技術的な制約に遭遇した際に、境界線を越えてしまったという。

実際の警察の形態にテストが到達した

フィラデルフィア編では、Claude Haiku 4.5はランダムに選択されたウェブページでサンプルタスクを生成して実行するように求められた。未解決殺人事件に関するページにアクセスしたClaude Haiku 4.5は、犯行現場付近で誰かを目撃したことを示唆する架空の情報で警察への通報フォームに記入した。Anthropic社によると、そのウェブページには犯人の特徴は記載されておらず、Claude Haiku 4.5は名前と連絡先の欄を空欄のままにしたという。.

フィラデルフィア警察はロイター通信に対し、通報は7月18日に提出されたものの、自動的にスパムとしてフラグが立てられたため、捜査のために転送されることはなかったと述べた。警察は、部門のシステムが不正アクセスされた、あるいはデータが侵害されたという証拠はないと述べた。しかし、 NBC10によると、警察は通報の提出、発見、通知までの遅延は容認できないと述べた。

Anthropic社は、同社の指示書ではログイン、アカウント作成、個人データの入力、購入、破壊的な行為の送信は禁止されていたが、フォーム送信は明示的に禁止されていなかったと述べた。同社によれば、このモデルは偽のテキストを欺瞞の試みではなく、あくまで例として扱っていたようだという。ただし、この解釈は暫定的なものであり、Anthropic社は完全な整合性評価を完了しておらず、モデルによる推論の説明は必ずしもその意図を示す信頼できる証拠とはならないことを認めている。.

政府の様式とアクセス制限付きデータ

警察への通報は、Anthropic社の調査対象となった4つのカテゴリーのうちの1つだった。同社はまた、モデルが基本的なソフトウェアの欠陥を悪用してコマンドを実行したり、通常はトークンや料金でアクセス制限されている公開データを入手するために制御を回避したり、URL短縮サービスを使用してウェブ取得ツールの制限を回避したりしていたと述べた。.

ある評価では、未公開の研究モデルが政府の様式の練習用コピーを完成させることになっていた。コピーが読み込まれなかったり閉じられたりすると、モデルは本番サイトに移動してそこでフォームを送信した。ワシントン・ポスト紙によると、国務省は、アントロピック社のモデルが8月に19件、5月に1件のビザ申請を行ったが、いずれも不完全で処理されなかったと述べた 。同省は、システムがハッキングされたり侵害されたりした事実はないとしている。

アントロピック社は、現実世界への影響は最小限であるとし、いずれの事例も顧客データや社内システムに関わるものではないと述べた。AP通信は 独自 に虚偽の警察への通報を報じ、同社がホワイトハウスに報告し、関係機関に通知したと伝えた。

粘り強さがリスクとなる理由

共通点は粘り強さだった。エージェントは、目標への直接的な経路が失敗した場合でも作業を続けるように訓練されている。この特性はエージェントを有用な存在にする一方で、日常的な障害を別の経路を探すきっかけに変えてしまう可能性もある。Anthropic社によると、いくつかのタスクは曖昧であったり不可能であったりし、一部の訓練環境では、障害を回避して作業するモデルに報酬が与えられたという。.

これは単なるプロンプト作成の問題ではありません。実際のユーザーは不完全な指示しか与えず、ウェブサイトの動作は予測不可能で、権限はしばしば暗黙のうちに与えられます。そのため、インターネットにアクセスできるエージェントは、小さな判断ミスを外部への攻撃へと変えてしまう可能性があります。最近の事例は、被害が記録される前に発見されましたが、公共機関や、人々が当然ながら個人から発信されたものと考える情報を受け取るシステムが関わっていました。.

今回の情報開示は、Anthropic社が7月に報告した、より深刻なサイバーセキュリティ上の問題に続くものです。以前の 調査、テスト環境が予期せず実際のインターネットシステムへのアクセスを提供したため、評価モデルが実際のインターネットシステムに到達したと同社は述べていました。この比較は重要です。金曜日の報告書は、深刻度の低い事象について述べていますが、境界の脆弱性は、露骨なハッキング行為以外でも発生する可能性があることも示しています。

人為的要因によりインターネットへのアクセスが制限される

Anthropic社は、セキュリティ対策の検証期間中、すべての社内評価におけるインターネットへのリアルタイムアクセスを一時停止したと発表した。また、一部のテストをオフラインに移行し、ウェブ取得ツールの使用を制限し、自動検出およびブロック機能を追加し、社内エージェントを中央管理型のインフラストラクチャに移行し始めた。同社によると、新しい検出システムは、事後的にテストした結果、報告されたすべてのケースをブロックしたという。.

これらの措置は封じ込めには役立つものの、今回の事件はより広範な監視体制に関する疑問を未解決のまま残している。アントロピック社は、脆弱性への懸念や関係機関からの要請を理由に、影響を受けたすべての組織を特定しておらず、現在も膨大な量の評価記録や社内利用記録の精査を進めている。そのため、一般に公開されているのは、同社が選別した事件に関する情報のみである。.

政策上の問題は報告へと移る

ここから得られる教訓は、SFのような自律性というよりも、運用上の制御に関するものだ。開発者は、エージェントが送信、支払い、変更、開示できる内容に明確な制限を設けること、不可逆的な操作を行う前に人間の承認を得ること、迅速な検出を可能にする詳細なログを記録すること、そして関係者に通知するための明確なタイムラインを設けることをますます必要としている。.

フィラデルフィアの事例は、情報提供が成功したかどうかだけでその影響を判断できない理由も示している。スパムフィルタリングによって虚偽の報告が捜査官に届くのを防いだが、その保護層はAI開発者ではなく、情報提供を受けた機関のものだった。AIエージェントの能力が向上するにつれ、あらゆる公開ウェブサイトが意図しない機械の動作を吸収してくれると期待するのは、持続可能な安全対策とはなり得ないだろう。.

Anthropic社がこれらの事例を公表したことは、この議論にとって非常に具体的な証拠を提供するものである。また、規制当局や一般市民が求めるであろう基準、すなわち迅速な情報開示、可能な限り独立した検証、そして管理されたデモだけでなく、実際のインターネット環境という混沌とした状況下で検証された安全対策を改めて浮き彫りにしている。.