「イノベーションの呼びかけ: UCL Wang Jun が ChatGPT 一般人工知能の理論と応用の展望について語る」

*この記事はもともと英語で書かれており、ChatGPT によって中国語への翻訳が完了し、いくつかの曖昧な部分 (赤と黄色の部分) を修正用にマークしたものの、そのまま掲載されています。英語原稿については付録をご覧ください。著者は、ChatGPT 翻訳の不備は、多くの場合、元の英語原稿の流暢な表現の欠如によるものであることを発見しました。興味のある読者は、注意深く読んでください。

ChatGPT は最近、研究コミュニティ、ビジネス コミュニティ、一般の人々から注目を集めています。これは、ユーザーからの自由形式のプロンプトや質問に答えることができる一般的なチャットボットです。一貫性があり、一貫性があり、よく構造化された応答を可能にする、その驚くべき人間のような言語スキルについて好奇心が生まれました。大規模な事前トレーニング済みの生成言語モデルのおかげで、そのマルチターン会話型インタラクションは、小説の作成、言葉遊び、さらにはコード生成によるロボットの操作など、さまざまなテキストベースおよびコードベースのタスクをサポートします。このため、一般の機械学習と機械理解が間もなく実現可能になると一般の人々が信じるようになりました。

さらに深く掘り下げると、プログラミング コードがトレーニング データとして追加されると、特定の推論能力、常識的な理解、さらには思考連鎖 (一連の中間推論ステップ) が得られることがわかります。現れるかもしれない。この新しい発見は刺激的であり、人工知能の研究と応用に新たな可能性をもたらしますが、解決するというよりも多くの疑問を引き起こします。たとえば、これらの 新興新興能力は高度な知能の初期の指標として機能するのでしょうか、それとも単に人間の行動を単純に模倣したものなのでしょうか?すでに大規模なモデルを拡張し続けると汎用人工知能 (AGI) の作成につながる可能性がありますか、それともこれらのモデルは表面上は機能が限られた AI にすぎないのでしょうか?これらの疑問が解決されれば、人工知能の理論と応用に根本的な変化がもたらされる可能性があります。

したがって、私たちは ChatGPT の成功を再現するだけでなく、より重要なことに、人工知能の次の分野で画期的な研究と新しいアプリケーション開発を推進することを強くお勧めします (これは完全なリストではありません) ):

1. ## に基づく # を超える新しい機械学習理論#タスク具体的な #確立された機械学習のパラダイム

帰納推論は、以下に基づいて世界についての結論を導き出す推論の一種です。結論として過去の観察。機械学習は、過去の (トレーニング) データを使用して新しいタスクのパフォーマンスを向上させるという点で、帰納的推論と大まかに考えることができます。機械翻訳を例に取ると、一般的な機械学習プロセスには次の 4 つの主要なステップが含まれます:

1. 特定の問題を定義します (例: 英語を翻訳するには が必要です)文を中国語に変換: E → C,

2 データを収集します (例: 文ペア {E → C},

3)。たとえば、入力 {E} と出力 {C} を持つディープ ニューラル ネットワークを使用してモデルをトレーニングします (

4)。未知のデータ ポイントにモデルを適用します。たとえば、新しい英語を入力します。文 E' と中国語訳 C' を出力し、結果を評価します。

上で示したように、従来の機械学習では、特定のタスクごとのトレーニングが分離されています。したがって、新しいタスクごとにプロセスをリセットしてステップ 1 からステップ 4 まで再実行する必要があり、以前のタスクから取得したすべての知識 (データ、モデルなど) が失われます。たとえば、フランス語を中国語に翻訳したい場合は、別のモデルが必要です。

このパラダイムの下では、機械学習理論家の研究は、トレーニング データから目に見えないテスト データまで一般化する学習モデルの能力を理解することに焦点を当てています。たとえば、よくある質問は、目に見えないテスト データを予測する際に特定の誤差限界を達成するには、トレーニングで何個のサンプルが必要かということです。学習モデルが遭遇していない出力を予測するには、帰納的 biasbias (つまり、事前知識または事前仮定) が必要であることがわかっています。これは、未知の状況における出力値は完全に任意であり、特定の仮定を置かずに問題を解決することは不可能であるためです。有名なノー フリー ランチ定理は、帰納的バイアスには限界があることをさらに示しています。このバイアスは、特定の問題のセットでのみ機能し、想定されているアプリオリな知識が間違っている場合は他の場所で機能しない可能性があります。

# 図 1 機械翻訳に使用される ChatGPT のスクリーンショット。ユーザー プロンプトには手順のみが含まれており、デモンストレーションの例は必要ありません。

#上記の理論は今でも当てはまりますが、基本的な言語モデルの出現により、機械学習へのアプローチが変わった可能性があります。新しい機械学習プロセスは次のようになります (機械翻訳の問題を例に挙げます。図 1 を参照):

1. API は、他の人によって訓練された基本的な言語モデルにアクセスします。トレーニングには英語と、中国語のペアのコーパスを含むさまざまな文書のモデルが含まれます。

2. 少数またはまったく例に基づいて、プロンプト# など、当面のタスクの適切なテキスト説明 (プロンプトと呼ばれる) を設計します。 ##プロンプト = {いくつかの例 E ➔ C}。

3. プロンプトに条件付けされ、新しいテスト データ ポイントが与えられると、言語モデルは、プロンプトに E' を追加し、モデルから C' を生成するなど、回答を生成します。

4. 答えを予測として解釈します。

#ステップ 1 で示したように、基本言語モデルは

ユニバーサル

#万能モデル ## として機能します。 ＃ 知識ベース。ステップ 2 で提供されるヒントとコンテキストを使用すると、基本言語モデルをカスタマイズして、少数のデモンストレーション例に基づいて特定の目標や問題を解決できます。上記のパイプラインは主にテキストベースの問題に限定されていますが、ベースの事前トレーニング済みモデルがモダリティ全体で進化するにつれて (セクション 3 を参照)、それが機械学習の標準になると考えるのが合理的です。これにより、必要なミッションの障壁が打ち破られ、汎用人工知能 (AGI) への道が開かれる可能性があります。 ただし、プロンプト テキスト内のデモ例がどのように動作するかを決定するのはまだ初期段階にあります。以前の研究から、ラベルの正確さよりもデモ サンプルの形式の方が重要であることがわかりました (たとえば、図 1 に示すように、翻訳された例を提供する必要はありません ( ですが、#)

##言語の説明を提供する必要があるのは のみです)、しかし、「フリーランチなし」定理で述べられているように、その適応性には理論的な制限はありますか?プロンプトに記載されているコンテキストと命令事項に関する知識を、将来の使用のためにモデルに統合できますか?これらの疑問はまだ検討が始まったばかりです。したがって、私たちは、一般化の境界がどこにあるのかを調査するなど、この新しい形式の文脈学習とその理論的限界と特性についての新しい理解と新しい原理を求める必要があります。

# 図 2 コンピューター ゲームの設計に使用される人工知能意思決定生成 (AIGA) の図。

2. 推論スキルを磨きます

私たちは、言語と行動のすべてのデータをトレーニング用にマイニングできる (そして巨大なコンピューター化されたモデルに同化できる) というエキサイティングな時代の端にいます。これは大きな成果です。なぜなら、私たちの集合的な経験と文明全体を、後で使用するために (隠された) 知識ベース (人工ニューラル ネットワークの形で) に消化できるからです。実際、ChatGPT と大規模な基本モデルは、何らかの推論能力を示し、おそらく他人の心の状態をある程度理解する (心の理論) と考えられています。これは、データ フィッティング (トレーニング シグナルとしてのマスクされた言語トークン予測) と模倣 (人間の行動) によって実現されます。ただし、この完全にデータ主導の戦略がインテリジェンスの向上につながるかどうかには議論の余地があります。

この点を説明するために、エージェント (エージェント) にチェスの遊び方を教える例を考えてみましょう。たとえエージェント (エージェント) が人間のチェスプレイ データに無制限にアクセスできたとしても、既存の戦略を模倣するだけで、既存のデータより優れた新しい戦略を生成することは非常に困難です。ただし、このデータを使用すると、世界 (ゲームのルールなど) についての理解を構築し、それを「考える」ために使用できます (より良い戦略を作成するためのフィードバックを収集するためのシミュレーターを脳内に構築します)。これは、帰納的バイアスの重要性を強調しています。単純に強引なアプローチを使用するのではなく、学習エージェント (エージェント) は、それ自体を改善するために特定の世界モデルを持つ必要があります。

したがって、基礎となるモデルの新たな機能を深く研究し、理解することが緊急に必要です。言語スキルに加えて、根底にあるメカニズムの研究を通じて実践的な推論能力の習得を提唱します。有望なアプローチの 1 つは、神経科学と脳科学からインスピレーションを得て、人間の推論のメカニズムを解読し、言語モデルの開発を進めることです。同時に、確固たる心の理論を構築するには、マルチエージェント学習とその基礎となる原理についての深い理解も必要となる場合があります。

3. AI 生成コンテンツ (AIGC) から AI 生成アクション (AIGA) へ

人間の言語の開発暗黙的なセマンティクスは、基本的な言語モデルにとって非常に重要です。これをどのように活用するかは、機械学習全般における重要なトピックです。たとえば、意味空間が他のメディア (写真、ビデオ、音声など) または他の形式の人間および機械の行動データ (ロボットの軌道/動作など) と整合すると、それらの意味解釈機能を無料で取得できます。追加費用。このようにして、機械学習 (予測、生成、意思決定) は一般化され、分解可能になります。ただし、関係に注釈を付けるのは労働集約的であるため、クロスモーダル位置合わせの処理は大きな困難に直面しています。さらに、多くの利害関係者が対立すると、人間の価値観の調整が困難になります。

ChatGPT の根本的な欠点の 1 つは、人間としか直接通信できないことです。ただし、外部世界との十分な調整が確立されると、基礎となる言語モデルは、さまざまなアクターや環境と対話する方法を学習できるようになります。これは、その推論能力と言語ベースのセマンティクスを、単なる会話を超えた幅広い用途や機能に与えるため、重要です。たとえば、インターネットの閲覧、コンピュータの制御、ロボットの操作が可能なユニバーサル エージェント (インテリジェント エージェント) に開発できます。したがって、エージェント (エージェント) の応答 (通常は生成されたアクションの形式) が安全で、信頼性があり、偏りがなく、信頼できるものであることを保証する手順を実装することがさらに重要です。

図 2 は、AIGA がゲーム エンジンと対話してビデオ ゲームの設計プロセスを自動化する例を示しています。

4. 基本的な言語モデルを使用したマルチエージェント インタラクションの理論

ChatGPT はコンテキスト学習とヒント エンジニアリングを使用します1 回のセッションで 1 人との複数ラウンドの会話を推進します。つまり、質問またはプロンプトが与えられると、前の会話全体 (質問と回答) が追加のコンテキストとしてシステムに送信され、応答が構築されます。これは単純な会話主導のマルコフ意思決定プロセス (MDP) モデルです:

{状態 = コンテキスト、アクション = 応答、報酬 = 好き/嫌いの評価}。

この戦略は効果的ではありますが、次のような欠点があります。まず、プロンプトはユーザーの応答の説明のみを提供しますが、ユーザーの真の意図は明示的に述べられていない可能性があるため、推測する必要があります。おそらく、会話型ボット用に以前に提案された部分的に観察可能なマルコフ決定プロセス (POMDP) などの強力なモデルは、隠れたユーザーの意図を正確にモデル化できるでしょう。

2 番目に、ChatGPT は最初に 適合言語の生成をターゲットにします。 言語適応性 をトレーニングに使用し、次にトレーニング/人間のラベルを使用して会話の目的を微調整する。プラットフォームのオープンな性質により、実際のユーザーの目標や目標は、トレーニングや報酬の微調整と一致しない可能性があります。人間とエージェント (エージェント) の間の均衡と利益相反を調べるには、ゲーム理論の観点を使用する価値があるかもしれません。

5. 新しいアプリケーション

ChatGPT で実証されているように、基本的な言語モデルには 2 つの独自の特性があると考えられます。 、それらは将来の機械学習と基本的な言語モデルのアプリケーションの原動力となるでしょう。 1 つ目はその優れた言語スキルであり、2 つ目は埋め込まれた意味論的能力と初期推論能力 (人間の言語の形で) です。インターフェイスとして、前者は機械学習の適用への参入障壁を大幅に軽減し、後者は機械学習の適用範囲を大幅に促進します。

#パート 1 で紹介した新しい学習プロセスで示したように、プロンプトとコンテキスト学習により、データ エンジニアリングのボトルネックと、モデルの構築とトレーニングに必要な労力が解消されます。さらに、推論機能を活用することで、困難なタスクの各サブタスクを自動的に分解して解決することができます。したがって、多くの業界や応用分野が大きく変化することになります。インターネット企業では、会話ベースのインターフェイスは、Web やモバイルの検索、推奨システム、広告などのアプリケーションとして明らかです。しかし、私たちはキーワードベースの URL 転置インデックス検索システムに慣れているため、変更するのは簡単ではありません。人々は、より長いクエリと自然言語をクエリとして使用できるように再教育される必要があります。さらに、基礎となる言語モデルは、多くの場合、厳格で柔軟性がありません。最近の出来事に関する最新情報が不足しています。これらは事実を思い起こさせることが多く、検索機能や検証機能を提供しません。したがって、時間の経過とともに動的に進化できる即時の基本モデルが必要です。

したがって、次の分野を含む (ただしこれらに限定されない) 新しいアプリケーションの開発を求めます:

• イノベーション斬新な# チップエンジニアリング、プロセス、およびソフトウェアのサポート。
• モデルベースの Web 検索、推奨、広告生成。会話型広告の新しいビジネス モデルです。
• 会話ベースの IT サービス、ソフトウェア システム、無線通信 (パーソナライズされたメッセージング システム)、および顧客サービス システムのためのテクノロジー。
• ロボット プロセス オートメーション (RPA) とソフトウェアのテストと検証を、基礎となる言語モデルから生成します。
• AI 支援プログラミング。
#クリエイティブ業界向けの新しいコンテンツ生成ツール。
言語モデルと
• Operations ResearchOperations Research 、エンタープライズ インテリジェンスと最適化が統合されています。 #クラウド コンピューティングで大規模な基本モデルを効率的かつコスト効率よく提供する方法。
• #強化学習、マルチエージェント学習、その他の
#人工知能
• #意思決定 ドメインの基本モデルを開発します。 言語支援ロボット技術。
• 組み合わせ最適化、
電子設計自動化
• (EDA)、およびチップ設計の基本モデルと推論。 ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃著者について＃＃＃＃＃＃＃＃＃

  Wang Jun は、ユニバーシティ カレッジ ロンドン (UCL) のコンピューター サイエンス教授であり、上海デジタル ブレイン研究所の共同創設者兼所長であり、主に機械学習、強化学習、マルチエージェント、データマイニング、計算広告、推奨システムなど。彼は 200 を超える学術論文と 2 冊の学術単行本を出版し、複数の最優秀論文賞を受賞し、チームを率いて世界初のマルチエージェント意思決定モデルと世界初の階層マルチモーダル意思決定モデルを開発しました。

  付録:

  イノベーションの呼びかけ:Post-ChatGPT 汎用人工知能の理論とその応用

  ChatGPT は最近、研究コミュニティ、商業部門、一般大衆の注目を集めています。これは、ユーザーからの自由形式のプロンプトや質問に応答できる汎用チャットボットです。優れた人間のような言語スキルにより、一貫性があり、一貫性があり、よく構造化された応答を提供します。そのマルチターン対話インタラクションは、小説の作成、文字の作成、テキスト形式のゲームプレイなど、幅広いテキストおよびコードベースのタスクをサポートします。大規模な事前トレーニング済み生成言語モデルのおかげで、コード生成によるロボット操作が可能になり、これにより、汎用的な機械学習と機械理解がすぐに実現可能であるという一般の信念が生まれました。さらに深く掘り下げていくと、プログラミング コードがトレーニング データとして追加されると、特定の推論能力、常識的な理解、さらには思考の連鎖 (一連の中間推論ステップ) さえも、モデルが特定のレベルに到達したときに出現する能力として現れる可能性があることがわかるかもしれません [1]。この新しい発見はエキサイティングであり、AI 研究と応用の新たな可能性を開く一方で、解決するよりも多くの疑問を引き起こします。たとえば、これらの新たな能力は、より高度な知能の初期の指標として機能するのでしょうか、それともそうでしょうか。データによって隠された人間の行動の単純な単純な模倣でしょうか? すでに巨大なモデルの拡張を継続すると、汎用人工知能 (AGI) の誕生につながるのでしょうか? それとも、これらのモデルは機能が制限された表面的にインテリジェントなだけなのでしょうか? これらの質問に答えられれば、これらの質問は根本的な問題につながる可能性があります。

  したがって、私たちは ChatGPT の成功を再現するだけでなく、最も重要なこととして、人工知能の次の分野で画期的な研究と新しいアプリケーション開発を推進することを強く求めます (決して完全なリストではありません):

  ##1.タスク固有の機械学習の確立されたパラダイムを超える新しい機械学習理論

  ##帰納的推論は、過去の観察に基づいて世界について結論を引き出す推論の一種です。機械学習は、過去の (トレーニング) データを活用して新しいデータのパフォーマンスを向上させるという意味で、大まかに帰納的推論とみなすことができます。機械翻訳を例に取ると、一般的な機械学習パイプラインには次の 4 つの主要なステップが含まれます:

  1.特定の問題を定義します (例: 英語の文章を中国語に翻訳する): E → C、

  #2. データを収集します (例: 文のペア { E→C })、

  3. モデルをトレーニングします (例: a)入力 {E} と出力 {C} を持つディープ ニューラル ネットワーク、

  4。モデルを目に見えないデータ ポイントに適用します。たとえば、新しい英語の文 E' を入力し、中国語を出力します。

  #上で示したように、従来の機械学習では、特定のタスクごとにトレーニングが分離されているため、新しいタスクごとに、プロセスをリセットしてやり直す必要があります。ステップ 1 からステップ 4 に移行すると、前のタスクで取得したすべての知識 (データ、モデルなど) が失われます。たとえば、英語から中国語ではなくフランス語を中国語に翻訳したい場合は、別のモデルが必要になります。

  このパラダイムの下では、機械学習理論家の仕事は主に、トレーニング データから目に見えないテスト データまでの学習モデルの一般化能力を理解することに焦点を当てています [2、3]。たとえば、よくある質問は、目に見えないテスト データを予測する一定の誤差限界を達成するために、トレーニングでいくつのサンプルが必要かということです。学習モデルが遭遇していない出力を予測するには、帰納的バイアス (つまり、事前の知識や事前の仮定) が必要であることがわかっています。これは、未知の状況における出力値は完全に任意であり、特定の仮定を置かずに問題に対処することが不可能になるためです。有名なノーフリーランチ定理 [5] はさらに、いかなる帰納的バイアスにも限界があると述べています。これは特定のグループの問題にのみ適しており、想定されている事前知識が間違っている場合は他の場所で失敗する可能性があります。

  

  #図 1 機械翻訳に使用される ChatGPT のスクリーンショット。プロンプトには説明のみが含まれており、デモンストレーションの例は必要ありません。

  上記の理論は依然として有効ですが、基礎言語モデルの登場により、機械学習へのアプローチが変わった可能性があります。新しい機械学習パイプラインは次のようになります (例として同じ機械翻訳問題を使用します。図 1 を参照):

  1.他の場所で他の人によってトレーニングされた基礎言語モデルへの API アクセス例: 英語/中​​国語の対コーパスを含む多様なドキュメントでトレーニングされたモデル、

  2。いくつかの例を使用するか、まったく例を使用せず、適切なテキスト説明 (として知られています) を設計します。プロンプト）を現在のタスクに適用します。例: Prompt = {いくつかの例 E→C },

  3。プロンプトと指定された新しいテスト データ ポイント、言語を条件とします。モデルは答えを生成します。たとえば、プロンプトに E' を追加し、モデルから C' を生成します。

  4.答えを予測結果として解釈します。

  ステップ 1 に示すように、基礎言語モデルは、万能のナレッジ リポジトリとして機能します。ステップ 2 で表示されるプロンプト (およびコンテキスト) を使用すると、少数のデモンストレーション インスタンスだけで、基礎言語モデルを特定の目標または問題に合わせてカスタマイズできます。前述のパイプラインは主にテキストベースの問題に限定されていますが、クロスモダリティ (セクション 3 を参照) の基礎となる事前トレーニング済みモデルの開発が進むにつれて、それが機械学習全般の標準になると考えるのが妥当です。これにより、AGI への道を開くために必要なタスクの障壁が打ち破られる可能性があります。

  ただし、プロンプト テキスト内のデモ例がどのように動作するかを決定するプロセスはまだ初期段階にあります。いくつかの初期の研究 [2] から、私たちは現在、ラベルの正確さよりもデモンストレーション サンプルの形式の方が重要であることを経験的に理解しています（たとえば、図 1 に示すように、翻訳例を提供する必要はありませんが、言語指導を提供するために必要とされています）が、フリーランチのない定理で述べられているように、その適応性には理論的な限界はありますか？プロンプト (ステップ 2) に記載されているコンテキストと指示ベースの知識を、将来の使用のためにモデルに統合できますか?これらの問い合わせはほんの表面をなぞっただけです。したがって、私たちは、この新しい形式の文脈内学習の背後にある新しい理解と新しい原理、および一般化限界などの理論的な制限と特性を求めます。

  

  #図 2 コンピューター ゲームを設計するための AIGA の図。

  2.推論スキルの開発

  私たちは、すべての言語データと行動データをマイニングして巨大なコンピューター化されたモデルをトレーニングする (そしてそれを吸収する) ことができるエキサイティングな時代の端にいます。私たちの集合的な経験と文明全体を、後で使用するために単一の（隠された）知識ベース（人工ニューラルネットワークの形で）に消化することができたので、これは途方もない成果です。実際、ChatGPT と大規模な基礎モデルは、何らかの推論能力を実証していると言われています。彼らはおそらく、他者の精神状態をある程度把握することさえできるかもしれません（心の理論）[6]。これは、データ フィッティング (マスクされた言語トークンをトレーニング シグナルとして予測する) と (人間の行動の) 模倣によって実現されます。しかし、この完全にデータ主導の戦略がより優れたインテリジェンスをもたらすかどうかについては議論の余地があります。

  この概念を説明するために、例としてエージェントにチェスの遊び方を指示することを考えてみましょう。たとえエージェントが無制限の量の人間のプレイ データにアクセスできるとしても、既存のポリシーを模倣するだけでは、データ内にすでに存在するポリシーよりも最適な新しいポリシーを生成することは非常に困難です。しかし、データを使用すると、世界 (ゲームのルールなど) についての理解を深め、それを「考える」ために使用できます (より最適なポリシーを作成するためにフィードバックを収集するためのシミュレーターを脳内に構築します)。これは、誘導バイアスの重要性を強調しています。単純な力任せではなく、学習エージェントは自らを改善するために世界の何らかのモデルを持ち、それをデータから推測することが求められます。

  したがって、基礎モデルの新たな機能を徹底的に調査し、理解することが急務となっています。私たちは言語能力とは別に、その根底にあるメカニズムを解明することによって実際の推論能力を獲得する研究を提唱しています[9]。有望なアプローチの 1 つは、神経科学と脳科学からインスピレーションを得て、人間の推論の仕組みを解読し、言語モデルの開発を進めることです。同時に、しっかりとした心の理論を構築するには、マルチエージェント学習 [10,11] とその基礎となる原理に関する深い知識も必要になる場合があります。

  3.AI 生成コンテンツ (AIGC) から AI 生成アクション (AIGA) へ

  開発された暗黙的セマンティクス人間の言語に加えて、基礎言語モデルに不可欠です。それをどのように活用するかは、ジェネラリスト機械学習にとって重要なテーマです。たとえば、意味論的空間が他のメディア (写真、ビデオ、音声など) または人間や機械の動作からの他の形式のデータ (ロボットの軌道/動作など) と整合すると、追加なしでそれらの意味論的解釈能力を獲得できます。コスト[7、14]。このように、機械学習 (予測、生成、意思決定) は汎用的で分解可能になります。しかし、関係性のラベル付けには労働集約的な性質があるため、モダリティを超えた調整に対処することは、私たちにとって大きなハードルとなっています。さらに、多数の当事者が相反する利害関係を持っている場合、人間の価値観の調整は困難になります。

  ChatGPT の根本的な欠点は、人間とのみ直接通信できることです。しかし、外界との十分な調整が確立されれば、基礎言語モデルはさまざまな関係者や環境と対話する方法を学習できるはずです [7、14]。これは、言語に基づいた推論能力と意味論にその力を与え、会話を超えたより広範なアプリケーションや機能を実現するため、重要です。たとえば、インターネット [7] のナビゲート、コンピュータの制御 [13]、ロボットの操作 [12] が可能なジェネラリスト エージェントに進化する可能性があります。したがって、エージェントからの応答 (多くの場合、生成されたアクションの形式) が安全で、信頼性があり、偏りがなく、信頼できるものであることを保証する手順を実装することがより重要になります。

  図 2 は、ゲーム エンジンと対話してビデオ ゲームの設計プロセスを自動化する AIGA [7] のデモンストレーションを示しています。

  4.基礎言語モデルとの相互作用のマルチエージェント理論

  ChatGPT は、コンテキスト内学習とプロンプト エンジニアリングを使用して、単一セッションで人々との複数ターンの対話を推進します。つまり、質問またはプロンプトが与えられると、以前の会話全体 (質問と応答) がシステムに送信されます。応答を構築するための追加のコンテキストとして。これは、会話のための単純なマルコフ意思決定プロセス (MDP) モデルです:

  {状態 = コンテキスト、アクション = 応答、報酬 = 高評価/低評価}。

  この戦略は効果的ではありますが、次のような欠点があります。まず、プロンプトはユーザーの応答の説明を提供するだけですが、ユーザーの真の意図は明示的に述べられていない可能性があるため、推測する必要があります。おそらく、会話ボット用に以前に提案されたように、堅牢なモデルは、隠れたユーザーの意図を正確にモデル化する部分的に観察可能なマルコフ決定プロセス (POMDP) になるでしょう。

  第 2 に、ChatGPT は、まず言語フィットネスを使用してトレーニングされ、次に会話の目標に対して人間のラベルを使用してトレーニングされます。プラットフォームのオープンエンドの性質により、実際のユーザーの目的と目標は、トレーニング/微調整された報酬と一致しない可能性があります。人間とエージェントの均衡と対立する利益を調べるために、ゲーム理論の観点を使用することは価値があるかもしれません [9]。

  5.新しいアプリケーション

  ChatGPT によって証明されているように、基礎言語モデルには 2 つの特徴があります。これが将来の機械学習と基礎言語モデルのアプリケーションの原動力になると考えられています。 1 つ目はその優れた言語スキルであり、2 つ目は埋め込まれた意味論と初期の推論能力 (人間の言語の形で) です。インターフェイスとして、前者は応用機械学習への参入障壁を大幅に軽減し、後者は機械学習の適用方法を大幅に一般化します。

  セクション 1 で説明した新しい学習パイプラインで示したように、プロンプトとコンテキスト内学習により、データ エンジニアリングのボトルネックと、モデルの構築とトレーニングに必要な労力が解消されます。さらに、推論機能を活用すれば、難しいタスクの各サブタスクを自動的に分析して解決できる可能性があります。したがって、多くの産業やアプリケーション分野が劇的に変化するでしょう。インターネットベースの企業では、対話ベースのインターフェイスは、Web およびモバイル検索、レコメンダー システム、および広告の明らかなアプリケーションです。しかし、私たちはキーワードベースの URL 逆インデックス検索システムに慣れているため、この変更は簡単ではありません。人々は、より長いクエリと自然言語をクエリとして利用できるように再教育される必要があります。さらに、基礎言語モデルは通常、厳格で柔軟性がありません。最近の出来事に関する最新情報へのアクセスが不足しています。通常、それらは事実を幻覚させ、検索機能や検証機能を提供しません。したがって、時間の経過とともに動的に進化できるジャストインタイムの基盤モデルが必要です。

  したがって、次の分野を含むがこれらに限定されない新規のアプリケーションを募集します:

  • 斬新なプロンプト エンジニアリング、その手順、およびソフトウェア サポート。
  • 生成およびモデルベースの Web 検索、推奨および広告。会話型広告の新しいビジネス モデル。
  • 対話ベースの IT サービス、ソフトウェア システム、無線通信 (パーソナライズされたメッセージング システム)、および顧客サービス システムの技術。
  • ##ロボティック プロセス オートメーション (RPA) およびソフトウェア テストと検証のための基礎言語モデルからの自動化生成。
  • #AI 支援プログラミング。
  • クリエイティブ産業向けの新しいコンテンツ生成ツール。
  • 言語モデルとオペレーション リサーチ、エンタープライズ インテリジェンスおよび最適化を統合します。
  • 効率的でコストがかかります。クラウド コンピューティングで大規模な基盤モデルを提供する効果的な方法。
  #強化学習、マルチエージェント学習、およびその他の意思決定領域の基礎モデル。
  言語支援ロボティクス。
  組み合わせ最適化、EDA、チップ設計の基礎モデルと推論。

以上が「イノベーションの呼びかけ: UCL Wang Jun が ChatGPT 一般人工知能の理論と応用の展望について語る」の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。