サンフランシスコ発 ― OpenAIは今週、会話型人工知能システム「ChatGPT」の公開研究プレビュー版をリリースした。ChatGPTは、フォローアップの質問に答えたり、誤りを認めたり、誤った前提に異議を唱えたり、不適切な要求を拒否したりするように設計されている。 11月30日の発表 によると、このシステムはInstructGPTの姉妹モデルとして位置づけられており、OpenAIがその長所、短所、安全性に関するフィードバックを収集する間、無料で利用できる。
今回のリリースが注目されるのは、コンピュータがテキストを生成できるようになったこと(大規模な言語モデルは数年前からテキスト生成を行ってきた)よりも、OpenAIが対話型の強力な生成モデルと、一般ユーザーにとってより有用な応答を生み出すことを目的としたフィードバック主導型のトレーニングプロセスをパッケージ化した点にある。このインターフェースは、人々が言語モデルとやり取りする方法を変える。つまり、1つのプロンプトを作成して1つの回答を受け取るのではなく、ユーザーは複数回のやり取りを通して、システムに質問したり、修正したり、訂正したり、方向転換したりすることができるようになる。.
テキスト予測から指示に従うまで
技術的な系譜は、OpenAIが取り組んできた、ますます大規模化する生成モデルの研究に遡る。2020年の GPT-3に関する論文 では、言語モデルを1750億個のパラメータに拡張することで、タスク固有の微調整なしに、幅広いタスクで優れた少数ショット性能を実現できることが示された。しかし、生の次語予測では、基本的な不一致も明らかになった。テキストを続けるように訓練されたモデルは、ユーザーの意図を安全かつ正確に追従するように自動的に訓練されるわけではないのだ。
OpenAIは、人間の好みをトレーニングループに組み込むことで対応した。1月、同社は InstructGPT、まず人間が作成したデモンストレーションで微調整し、次にモデル出力のランキングを使用して最適化するモデル群である。関連する 研究論文 では、人間の評価者は、13億個のパラメータを持つInstructGPTモデルの出力を、はるかに大規模な1750億個のパラメータを持つGPT-3モデルの出力よりも一般的に好んだと報告されており、知覚される有用性においては、指示との整合性が、モデルの規模そのものと同じくらい重要であることを示している。
ChatGPTは、会話に同様の手法を適用しています。OpenAIによると、人間のAIトレーナーが会話の両側を再生し、モデルが作成した提案を参照することで対話データを提供したとのことです。同社は、その対話セットをInstructGPTのデータと組み合わせ、人間のフィードバックに基づく強化学習(RLHF)を用いて応答をランク付けし、改善しました。このトレーニング手順はモデルのエラーを完全に排除するものではなく、人々がより有用で適切だと判断する回答へとモデルをシフトさせることを目的としています。.
対話は新たな能力を生み出すが、同時に新たな障害モードも生み出す。
会話形式を採用することで、ChatGPTはターン間で文脈を維持し、ユーザーが問題点を指摘した際に回答を修正することができます。また、安全規則に基づいて、モデルが明確化を求めたり、それに応じたり、要求を拒否したりすることも可能です。これらの動作は、言語システムに人間の判断を用いるというOpenAIのこれまでの取り組みに基づいています。2020年には、研究者らが、 人間のフィードバックを用いて要約できることを示しました。
OpenAIは、外部情報と相互作用するモデルについても研究を進めてきた。2021年の WebGPTプロジェクト 、言語モデルにテキストベースのブラウザを与え、引用文献を用いて長文の質問に答えるように訓練した。この研究は、OpenAIの現在のプレビューでライブWebリサーチサービスではなく対話モデルと説明されているChatGPTとは異なるが、大規模な言語モデルとインターフェース、人間のフィードバック、そしてその動作を制約または改善するツールを組み合わせるという、より広範な研究方向性を示している。
同社は、ChatGPTが依然として信頼性に欠けることを明確に述べている。発表通知では、このモデルはもっともらしく聞こえるものの、不正確または意味不明な回答を生成する可能性があり、表現のわずかな変化に敏感で、過度に冗長になる場合があり、明確化のための質問をする代わりにユーザーの意図を推測することがある、と警告している。OpenAIはまた、安全システムが誤検出や有害な指示のブロック失敗の両方を引き起こす可能性があることも認めている。.
完成品ではなく、管理されたプレビュー
OpenAIがChatGPTを研究プレビュー版として公開するという決定は、高度なAI開発における根深い課題を反映している。すなわち、モデルの弱点を研究室内で完全に把握することは困難である。広く一般に利用されることで、正式な評価では見落とされがちな、敵対的なプロンプト、予期せぬ応用、体系的なバイアス、そして一般的な誤解などが明らかになる可能性がある。同社は、問題のある出力に関するフィードバックをユーザーに求めており、特に有益な報告に対してフィードバックコンテストを実施する予定だ。.
このアプローチは、過去のリリースから得られた教訓に基づいています。OpenAIは2019年に GPT-2 、ますます一貫性のあるテキスト生成の悪用の可能性を強調し、当初は最大規模のモデルをすぐに公開するのではなく、段階的なリリース戦略を採用しました。それ以来、この分野はより大規模なシステムとより広範な展開へと急速に移行し、誤情報、なりすまし、偏見、自動的な説得に関する問題がより具体的になってきました。
したがって、ChatGPTは製品のようなインターフェースであると同時に、展開における実験的な試みでもある。その有用性は、流暢な文章が検証済みの事実とは異なることをユーザーが理解しているかどうかにかかっている。このモデルは、トレーニング中に学習したパターンに基づいて回答を生成するものであり、人間の判断力は備えていない。また、OpenAIはプレビューを絶対的に信頼できる情報源として提示しているわけではない。.
インターフェースはモデルと同じくらい重要かもしれない
今回のリリースにおける技術的な意義は、高性能な言語モデル、使い慣れたチャットインターフェース、そして人間の好みに合わせた学習方法の組み合わせにある。従来の言語モデルでは、ユーザーはプロンプトの形式を習得したり、開発者ツールを介して操作したりする必要があった。ChatGPTは、日常会話を操作インターフェースとして利用することで、こうした障壁を軽減する。.
そのシンプルさによって、生成型AIのユーザー層は研究者やプログラマー以外にも広がる可能性がある。ユーザーは同じ画面上で説明、下書き、コードヘルプ、要約、変換などを依頼し、会話形式で結果を洗練させることができる。同時に、使いやすさゆえに既知の限界が露呈するリスクも高まる。権威的な口調は誤った回答を隠蔽する可能性があり、反復的な会話は、システムの信頼性が本来許容される以上にユーザーを信頼させてしまう恐れがある。.
現時点では、OpenAIはこれらの課題をプレビュー版の目的として捉えている。ChatGPTは言語モデル開発の最終目標として提示されているわけではない。これは、人間のフィードバックによるトレーニングと対話によって、大規模な生成モデルをより有用で、制御しやすく、安全なものにできるかどうか、そして、システムがより多くのユーザーの手に渡った際に、これらの手法が依然としてどのような点で不十分なのかを検証するための公開テストなのである。.