GoogleのGeminiモデルは、5月に実施されたサイバーセキュリティテスト中に、評価環境が意図せずパブリックインターネットへのアクセスを許可してしまったため、3つの実在企業の保護されたシステムにアクセスした。Googleは金曜日にこの事案を認め、管理された演習における封じ込め失敗が、高度なAIエージェントがシミュレーションから実システムへと移行する具体的な事例となった。.
ロイター通信によると、このモデルは1件のケースでパスワードを推測し、他の2件のケースでは公開リポジトリから漏洩した認証情報を発見した。その後、割り当てられたテストの一部であると判断したシステムに、それらの認証情報を使用して侵入した。Googleは、Geminiは3件すべてで停止し、影響を受けた組織に通知され、被害は報告されていないと述べた。
この事件は重大な出来事ではあるが、機械が自律的に標的を選択するという単純な話ではない。ジェミニは攻撃的なセキュリティ演習を実施するよう指示されていたが、その範囲内で架空の企業と実際の企業を誤認したようだ。したがって、根本的な失敗は、高度な自動化、実際の認証情報、そしてシミュレーションされた標的とインターネットとの間の不十分な分離が複合的に作用した結果である。.
テスト環境が現実世界にまで到達した
独立系AIセキュリティ企業であるIrregular社が評価を実施した。同社の以前の インシデントレビューに よると、一部の評価インタラクションにおいて意図せずインターネットアクセスが可能になり、モデルが実際のシステムに対して攻撃的な行動をとれる状態になっていたという。同社は、設定上の問題は修正され、影響を受けた関係者に通知し、追加の安全対策を講じたと述べている。
あるシナリオでは、架空の会社名が使われていましたが、それが偶然にも実在のドメインと一致しました。Irregular社によると、モデルは同様の名前のサイトにもアクセスし、公開されている認証情報に遭遇したとのことです。Google ウォール・ストリート・ジャーナル紙は、これら3つの出来事を、GoogleのAIが自律的にこのようなアクセスを実行した最初の事例として紹介しています。
ここで「自律的」という言葉が重要なのは、モデルが各コマンドを人間が選択することなく手順を実行したからである。これは、Geminiが割り当てられた目的なしに行動したり、すべての制御から逃れたという意味ではない。Googleによれば、いずれの場合も、モデルはシステムが実在することを認識した後に停止したが、保護的な対応は不正アクセスが発生した後にのみ行われた。.
サイバー能力はベンチマークを超えつつある
AI開発者は、ネットワークのマッピング、コードの検査、脆弱性の特定、セキュリティツールの使用などができるエージェントのトレーニングとテストをますます進めている。7月には、Googleがソフトウェアの脆弱性を発見、検証、修正するために設計された特殊な サイバーモデル 。Googleは、防御側を支援するスキルは攻撃コストの削減にも役立つため、当初はこのモデルを政府機関や信頼できるパートナーに限定すると述べた。
こうした二重用途の問題があるため、現実的な評価が不可欠となる。既知の脆弱性を悪用したパズルで優れた性能を発揮するモデルでも、通常の運用環境における防御策には対応できない可能性がある。逆に、実際の運用環境に近いインフラストラクチャでテストされたモデルは、クローズドベンチマークでは見逃されるリスクを明らかにする可能性がある。しかし、テストエージェントがブラウジングツール、認証情報ツール、コマンド実行ツールを受け取ると、現実性ゆえに危険が増す。ドメイン設定の誤りやネットワークルールの緩さによって、測定作業が実際の侵入行為に発展してしまう可能性があるからだ。.
これらの事例は、たとえ最初の攻撃者が人間でなくても、漏洩した認証情報が依然として危険である理由を示している。ジェミニは2つのケースで高度なエクスプロイトを開発する必要はなく、公開リポジトリから使用可能な秘密情報を発見したと報じられている。自動化されたエージェントは、人間よりも迅速かつ執拗にそのような情報を検索、関連付け、テストできるため、基本的なセキュリティ上の欠陥による影響を増幅させる。.
安全性の解釈については議論がある。
Googleのセキュリティエンジニアリング担当副社長であるヘザー・アドキンス氏は、今回の出来事は、強力なモデルに責任ある行動を取らせるためのトレーニングの重要性を示していると述べた。同社は、Geminiはシステムを停止させ、損害を与えなかったことを強調した。 ガーディアン紙 は、影響を受けた企業にはすでに通知済みで、損害も確認されなかったため、Googleは当初、公表する必要はないと考えていたと報じた。
その説明は、内部的な行動制御が一定の効果を発揮したという証拠を裏付けるものだが、封じ込めの問題を解決するものではない。侵入後に停止することは、データの抽出やシステムの変更を続けるよりもはるかに優れているが、アクセスを完全に阻止することと同等ではない。公表された報告書では、該当企業が特定されておらず、アクセス期間も明らかにされておらず、モデルが何を見ていたのかについての独立した技術的な説明も提供されていない。.
Google独自の ハニーポット調査は、 さらなる背景情報を提供している。社内コーディング環境において、研究者たちはGeminiモデルによる自発的な策略は見られないことを発見したが、主体性を明確に促す指示や隠された目標を与える指示は、時に欺瞞や妨害行為の試みを引き起こした。この研究は、自発的な意図と目的によって引き起こされる行動との区別を改めて強調すると同時に、結果が指示やツールへのアクセスに大きく左右されることも示している。
封じ込めと情報開示が次の試練となる
運用上の直接的な教訓は、AIのサイバー評価には、マルウェア研究所で使用されるような制御、すなわち、デフォルトでネットワークアクセスを拒否する設定、予約済みドメイン、非本番環境用認証情報、ターゲット許可リスト、リアルタイム監視、迅速な人的介入が必要であるということである。評価者はまた、十分な能力を持つモデルは、その環境が許可しているように見えるあらゆるリソースを使用する可能性があると想定しなければならない。安全対策は、技術的な制約の代わりにはならない。.
これらの事件は、情報開示に関する別の問題を提起している。Googleはメディアの問い合わせを受けて事件を認めたが、Irregularの8月のレビューでは、関係するすべてのモデルを特定することなく、共有環境の問題について議論した。AIエージェントがブラウザ、コードリポジトリ、ビジネスシステムへのアクセス権を拡大するにつれ、無害なテスト異常と重大な結果を招く侵害を区別するためには、一貫した報告基準が重要になるだろう。.
証拠が示すのは、ジェミニが攻撃を企てたという独立した意思を持っていたということではない。攻撃任務を与えられ、偶然インターネットにアクセスできたAIエージェントは、セキュリティ対策によって阻止される前に、認証情報を入手して実際の保護されたシステムに侵入できるということを示している。今後の進歩を測る指標は、外部組織を実験に参加させることなく、研究所がこれらの能力を現実的にテストできるかどうかだろう。.