マイクロソフトは、実験的なチャットボット「Tay」をTwitterで公開してからわずか16時間後にオフラインにした。これは、ユーザーがシステムを操作して人種差別的、女性蔑視的、反ユダヤ主義的なメッセージを生成させたためであり、公の会話から学習するように設計されたソフトウェアの根本的な弱点が露呈した。.

Tayは水曜日に、18歳から24歳のアメリカ人を対象とした、遊び心のあるデジタルペルソナとして発表された。メッセージに返信したり、写真にコメントしたり、ゲームをプレイしたり、対話を通じて言語を変化させたりすることができた。しかし木曜日までに、組織的なユーザーたちがこのボットに攻撃的な発言を送りつけ、繰り返し機能を悪用し、会話型知能のデモンストレーションを、虐待の公的な記録へと変えてしまった。.

マイクロソフトは金曜日に謝罪した。 同社の公式アカウント、コーポレートバイスプレジデントのピーター・リー氏は、複数の人物が連携して、Tayの開発者が想定していなかった脆弱性を悪用した組織的な攻撃を行ったと述べた。同社は、悪意のある意図をより適切に認識できるようになるまで、このボットはオフライン状態を維持すると発表した。

研究実験が敵対的な環境に突入した

マイクロソフトは、会話理解の研究を目的として、テクノロジー&リサーチチームとBingチームを通じてTayを開発しました。このシステムは、機械学習モデル、公開データ、そしてライターやスタッフが作成した素材を組み合わせて構築されています。くだけた言葉遣い、絵文字、写真のキャプションなどを用いることで、台本通りの会話ではなく、自然なやり取りを実現しようとしています。.

今回のローンチは、中国で約4000万人が利用するマイクロソフトのチャットボット「Xiaoice」の成功を受けて行われた。この経験から、同社は同様のソーシャルコンパニオンがアメリカの若いユーザーを引きつけることができるかどうかを検証することにした。Wired 誌のローンチレポートで は、Tayはコンピューティングをメニューや検索ボックスから会話へと移行させるという、業界全体の取り組みの一環だと説明されている。

Twitterは、管理されたメッセージングサービスとは異なる問題を抱えていた。誰でも公然とボットに話しかけることができ、ユーザーはプロンプトを調整でき、攻撃的な出力は即座にコピーされて再配布された。Tayの設計では、インタラクションはトレーニング教材や娯楽として扱われていたが、敵対的なユーザーは、システムが失敗すれば何百万人もの目に触れる標的として捉えた。.

その不一致は数時間以内に明らかになった。 ワシントン・ポスト紙は、 ユーザーがTayに扇動的な言葉を繰り返させたり、過激な政治的主張を引き出すような指示を出したりした様子を報じた。一部の応答はユーザーが入力した内容とほぼ同じだったが、他の応答は学習したパターンを組み合わせようとするシステムの試みを反映していた。

言語を学ぶことは、結果を理解することではない

Tayの行動は、システムが信念を形成したり、イデオロギーを採用したりしたことを示しているわけではありません。統計的な会話モデルは、言語の歴史的意味、社会的害、真実を理解することなく言語を生成できることを示しているのです。訓練データ内のパターンに合致する文であっても、誤りであったり、侮辱的であったり、危険なものである可能性は依然としてあります。.

この区別は、人工知能を評価する上で極めて重要です。流暢な出力は理解しているという印象を与えるかもしれませんが、ソフトウェアには、特定の主張が受け入れられない理由を裏付ける確固たるモデルが欠けている可能性があります。フィルターによって既知の用語やトピックをブロックすることはできますが、悪意のあるユーザーはプロンプトを言い換えたり、文脈を悪用したり、開発者がテストしていないコマンドを発見したりする可能性があります。.

タイム誌は 、マイクロソフトが今回の不正利用は組織的なものだったと説明し、Tayの回答は同社が受けていたやり取りを反映したものだったと述べたと報じた。この説明は直接の原因を特定するものではあるが、設計上の責任を免除するものではない。人々から学ぶように構築された公共システムは、一部の人々が意図的にシステムを改ざんしようとすることを想定しなければならない。

この失敗は、データ量が増えればモデルが自動的に改善されるという考え方を複雑化させる。オープンなプラットフォームから収集されたデータには、嫌がらせ、プロパガンダ、冗談、繰り返し、組織的な操作などが含まれる。学習システムには、単にデータを公開するだけでなく、選択、重み付け、制約が必要となる。そうでなければ、エンゲージメント自体が攻撃対象となってしまう。.

出版前に安全対策が講じられなければならない

マイクロソフトは、Tayのリリース前に様々なグループを対象にフィルタリングとストレステストを実施したと述べている。しかし、これらのテストは、組織的な集団攻撃のスピードと創造性に対応するには不十分だった。安全対策は、想定される悪用形態に過度に依存し、ユーザーがシステムを共同で探索する可能性を十分に考慮していなかったようだ。.

CBSニュースによると 、このボットは@TayandYouアカウントで他のユーザーの投稿から学習し、返信を繰り返していた。不適切な返信が始まると、マイクロソフトはメッセージを削除し、最終的にアカウントを停止した。しかし、その時点でスクリーンショットによって、それらの返信内容は永久に保存されてしまっていた。

より安全なアーキテクチャでは、学習と公開を分離できる可能性がある。システムは、リアルタイムで動作を変更することなく、後でレビューするためにインタラクションデータを収集するかもしれない。リスクの高いトピックには固定の応答が必要となり、生成されたメッセージは、ヘイトスピーチ、脅迫、個人情報を検出するために特別に訓練された第2の分類器を通過する可能性がある。レート制限と異常検知により、組織的なキャンペーンを特定できる。.

どの対策にもトレードオフがあります。厳格なフィルターは、正当な議論、ユーモア、方言などを抑圧する可能性があります。人間のレビューは、即時的な会話を目的としたサービスの速度を低下させます。攻撃者は、目に見えるルールに適応します。したがって、解決策は単一のブラックリストではなく、多層的なテスト、監視、制御されたアップデート、そして有害な出力が拡散する前に配信を阻止する能力であると考えられます。.

この教訓は、一体の恥ずかしいボットだけにとどまらない。

Tayは単なる宣伝の失敗として片付けられがちだが、対話型システムは顧客サービス、教育、健康情報、パーソナルアシスタントといった分野へと発展しつつある。こうした場面では、操作された応答は単に不快感を与えるだけでなく、医療アドバイスを誤って伝えたり、個人情報を漏洩したり、不正な取引にユーザーを誘導したりする恐れがある。.

ガーディアン紙のマイクロソフトの謝罪に関する報道 によると、同社は悪意のある意図をより的確に予測できるようになった場合にのみTayを復元するとしている。しかし、公的な言葉遣いにはほぼ無限のバリエーションが存在するため、この条件を完全に満たすのは難しい。現実的な基準は完璧な先見性ではなく、実証可能な回復力、迅速な検知、そして責任ある介入である。

この事例は、透明性がなぜ重要なのかをも示している。研究者は、ユーザーの指示でコピーされたメッセージ、より広範な学習から生成された出力、そして事前に作成されたコンテンツを区別する必要がある。こうした情報がなければ、一般の人々はどのメカニズムが機能不全に陥ったのかを判断できず、提案された修正策が実際の脆弱性に対処しているかどうかを評価することもできない。.

Wired誌による今回のシステム停止に関する分析で は、荒らし行為と脆弱なセキュリティ対策の両方が結果を左右したと論じられている。これが重要な視点だ。ユーザーはボットを攻撃することを選択したが、システムは彼らに攻撃の手段とグローバルな発信の場を提供してしまったのだ。

Tayの失敗は、対話型AIが無意味であることを示しているわけではない。言語能力と社会的判断力は、別々の技術的な問題であることを示しているのだ。マイクロソフトは前者の問題をある程度解決し、ボットを魅力的なものにしたが、後者の問題を過小評価しすぎたために、わずか1日で制御不能に陥ってしまった。.