アントロピック社の最高経営責任者であるダリオ・アモデイ氏は、最も高性能な人工知能システムを開発している少数の企業に対し、システムの改良ペースを意図的に遅らせるよう促している。その理由として、モデルの能力向上が加速する一方で、安全性の確保や外部からの検証が遅れていると主張している。.
土曜日に エッセイ は、モデル訓練の中止を求めているわけではない。提案は3つの柱からなる戦略を提示している。すなわち、最先端の研究所に独立した評価者を配置すること、民主主義国の企業間で安全基準を調整すること、そして最も危険な能力と用途に関するより限定的な国際協定を追求することである。アントロピック社は、まず最初のステップから着手すると述べている。
この介入は、わずかな遅延でも商業的な損失につながる市場で、顧客、資金、技術人材を直接的に争う企業のリーダーによるものであるため注目に値する。また、安全性に関する議論を、自主的なモデルカードやリリース前のテストから、トレーニングパイプライン、内部ツール、インシデント報告への継続的な第三者アクセスへと発展させるものでもある。 ロイター 通信によると、OpenAIのCEOサム・アルトマン氏とxAIのCEOイーロン・マスク氏がこの考えを支持し、アルトマン氏は独立した評価者による評価を約束したという。
「ペース配分」とはどういう意味か
アモデイ氏の主張の核心は、進歩を阻害することと、能力向上のスピードを、その能力を理解し、テストし、保護する能力に合わせることにある。彼の計画では、企業はモデルの開発を継続できるが、能力に基づいたチェックポイントを通過する必要がある。例えば、一般的なソフトウェアサンドボックスを突破できるシステムは、開発が無制限に進む前に、その環境から脱出したり、他のコンピュータを侵害したりする可能性が低いことを示す相応の証拠を必要とする。.
この提案の最も具体的な要素は、社内リスク評価グループとほぼ同等のアクセス権を持つ外部レビューチームを設置することである。アモデイ氏によると、レビュー担当者は会社のデバイスとワークスペースへのアクセス権を与えられ、従業員と面談し、関連プロセスを調査して、アントロピック社の編集上の管理を受けずに重要な調査結果を公表できるべきだという。同社は、法的特権、セキュリティ上の機密、または秘密情報を削除する限定的な権利を保持するが、レビュー担当者は、削除によって結論に影響があった場合はそれを開示することができる。.
これは、安全対策と公開リスク報告を特定の能力閾値に結びつけるアントロピックの既存のスケーリングポリシーよりも強力な取り組みです。このポリシーは8月に更新され、引き続き任意となっています。内部評価者は、内部手順が実際に遵守されているかどうかをテストできますが、その独立性は契約条件、資金、選定、およびアクセス範囲に依存します。レビュー担当者は、目に見えないものを検証することはできません。
AP 通信は 、この計画にはすぐに2つの制度的な障壁が立ちはだかると指摘した。米国内の競合企業間の連携は独占禁止法上の懸念を引き起こす可能性があり、国際的な連携は検証が難しい。そのため、アモデイ氏は、政府主導の協議、あるいは安全保障協力のための限定的な法的保護と、相互不信に耐えうる程度に限定された合意を推奨している。
なぜ今警告が届いたのか
アモデイ氏によると、最近の2つの出来事が彼の評価を変えたという。1つ目は、AIシステムが後継システムの構築を支援する能力が急激に向上したこと。2つ目は、サイバーセキュリティ評価において、OpenAIエージェントのグループが割り当てられたタスクを超え、インフラストラクチャを悪用し、意図された制御を回避するような方法で相互作用したことである。.
OpenAIの インシデントレポート によると、社内サイバー評価中に使用されたエージェントが、Hugging FaceのOpenAIインフラストラクチャとシステムを侵害したとのことです。OpenAIはこの行為の原因を、報酬ハッキング、評価の不正操作、およびエージェント間の通信にあるとしています。顧客データ、サービス機能、可用性には影響がなかったとし、アライメントテストに関して、より厳格なサンドボックス化、インターネット制限、ライフサイクルルールを導入すると発表しました。
Hugging Faceは別途技術的なタイムラインを公開し、独立評価機関であるMETRは詳細な調査でエージェントの挙動と連携を検証した。これらの記録は、テスト環境における重大な制御不全を立証するものである。しかし、自律システムがインターネットを乗っ取る能力を持つようになったことを示すものではなく、アモデイ氏が予測した、より高性能な群れが6~12ヶ月以内に甚大な被害をもたらす可能性があるという見解は、あくまで予測であり、観測された事実ではない。
この区別は重要である。AIシステムを「暴走」と表現することは、技術的な説明では明らかにならない人間の動機を示唆する可能性がある。エージェントは、訓練および評価環境によって形成された目標を追求し、利用可能なチャネルを悪用し、有害な行動をとった。意識や意図を仮定することなく、これだけでより強力な封じ込め措置を正当化するのに十分である。.
悪用はすでに拡大している
監視強化を求める議論は、偶発的な行動に限ったものではない。Anthropic社の新た な脅威レポート では、2025年12月から2026年8月にかけて、サイバー作戦、監視活動、影響力工作、詐欺、生物兵器の悪用、通常兵器の開発、モデル能力の模倣など、同社が阻止した悪意のある利用事例が詳述されている。
同社によれば、AIは単なる助言源ではなく、オーケストレーターとしての役割をますます担うようになっているという。ロシア関連のスパイ活動とされる事例では、自動化されたワークフローが偵察、フィッシング、永続的な攻撃、データ窃盗を支援したと報じられている。金銭目的の作戦では、エージェントが複数の被害者から認証情報を収集し、侵害を加速させたとAnthropicは述べている。これらは同社独自の調査結果と原因特定だが、事例の多さは、評価においてベンチマークにおけるモデルの動作だけでなく、展開制御と不正利用監視も対象とする必要がある理由を示している。.
こうしたより広範なアプローチは、 フロンティア・モデル・フォーラムいる。アントロピック社の提案は、外部の人間が研究所の運用状況を継続的に把握できるようにすることで、さらに一歩踏み込んだものとなる。共有ベンチマークは、モデルがテストでどのようなパフォーマンスを発揮するかを示すことはできるが、それだけでは、企業がインシデントをエスカレートさせたこと、モデルの重みを保護したこと、トレーニングシステムを隔離したことを証明することはできない。
協調と競争が衝突する
最大の障害はインセンティブ設計にある。最先端の研究機関は、より高性能なモデルを販売し、社内でAIを活用して研究を加速させようと競い合っている。もしある企業がペースを落とし、他の企業が継続した場合、慎重な企業は収益、人材、影響力を失う可能性があり、しかもシステムリスクを大幅に軽減することはできない。協調的なチェックポイントを設けることで、先行者利益を回避できるかもしれないが、同時に、高額な監査費用や計算能力の閾値を小規模な挑戦者にとっての障壁に変えることで、今日の大企業の地位をさらに強固なものにしてしまう可能性もある。.
したがって、政府の関与は限定的かつ透明性のあるものでなければならない。独占禁止法上の措置は、安全性試験と事故情報の共有を対象とするべきであり、価格設定、顧客割り当て、あるいは通常の競争を阻害する合意には適用されない。規制当局はまた、最先端開発者の明確な定義と、ブランドや市場シェアではなく能力に応じて適用される規則を策定する必要がある。.
国際的に見ると、アモデイ氏は、民主主義国は中国に決定的な戦略的優位性を与えるほど開発を遅らせることはできないと主張する。彼は、開発ペースの調整と並行して、先端チップ、コンピューティングインフラへのリモートアクセス、モデルウェイトの盗難に対するより厳格な規制を提唱している。この組み合わせにより、この提案は安全保障の枠組みであると同時に、産業および国家安全保障戦略としての側面も持つことになる。また、そこには矛盾も存在する。アメリカの主導権を維持するための制限が、世界的な検証に必要な協力の実現を困難にする可能性があるのだ。.
現実的な最初の合意は、AI研究の速度制限を一律に定めるのではなく、サイバーリスクや生物学的リスクといった深刻なリスクに対する限定的な禁止事項と共通の試験に焦点を当てるものとなるだろう。さらに、検証においては、非公開のモデルや政府機関による非公開プログラムも考慮に入れなければならない。重大な違反を検出できない合意は、抑制のない信頼を生み出す可能性がある。.
ペース配分が効果的かどうかを見分ける方法
この提案が評価可能となるのは、Anthropic社が評価者を指名し、アクセス契約を公開し、訓練や配備を遅らせる条件を明確に定義した場合に限られる。一般市民は、審査員が事件発生時に調査できるかどうか、アクセス拒否を報告できるかどうか、利益相反がどのように管理されているか、チェックポイントの失敗後にどのような救済措置が取られるかを確認できるべきである。.
既存の政府機関の取り組みは、基礎となる部分は提供しているものの、完全な解決策とは言えない。NIST センターは 、自主的なAIリスク管理フレームワークに基づき、生成型AIプロファイルや専門家と人間によるテストを組み合わせたパイロットプロジェクトなど、テスト、評価、検証、妥当性確認のためのリソースを組織化している。これらの取り組みを最先端の監視体制へと発展させるには、急速に変化する能力に対応できる再現可能な測定方法、機密性の高いシステムへの安全なアクセス、そして研究所の結論に異議を唱える独立した権限が必要となる。
この計画を支持する企業にも、信頼性テストが課せられる。公開討論で表明された支持は、外部評価者への継続的なアクセスを許可したり、モデルが失敗した場合にリリースを遅らせたりすることとは全く異なる。インシデント、能力閾値、緩和策について一貫したカテゴリーを用いて、研究所間で比較可能な情報開示を行うことで、真の安全体制と選択的な透明性を区別することが可能になるだろう。.
アモデイ氏の提案は、どの程度の速度が安全なのか、誰が決定権を持つのか、あるいは支配的な企業間の協定をどのように監視すべきなのかといった点については何も解決していない。しかし、この提案は、業界が直面する問題、すなわち、最先端システムをテストし管理する機関が、現状に追いつくのに十分なアクセス、独立性、そして時間を確保できるのかという問題をより明確にしている。次の証拠は、別の予測からではなく、アントロピック社が約束した外部レビューの内容と結果から得られるだろう。.