検索
ホームページテクノロジー周辺機器AI少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

私が目覚めたとき、機械学習コミュニティはショック状態にありました。

最新の研究により、GPT-3 に「ステップごとに考えてみましょう」と言うだけで、これまで答えられなかった質問に正しく答えることができることが判明したためです。

たとえば、次の例:

16 個のボールの半分はゴルフ ボールで、これらのゴルフ ボールの半分は青です。青いゴルフ ボールは合計で何個ありますか?

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

(問題は難しくありませんが、これはゼロサンプル学習であることに注意してください。これは、AI のトレーニング段階で同様の問題が発生したことがないことを意味します。)

GPT が必要な場合 -3 「答えは何ですか」を直接書くと、間違った答えが返されます: 8。

しかし、ステップごとに考えるための「呪文」を追加すると、GPT-3 はまず思考のステップを出力し、最終的に正しい答えを返します: 4!

そしてこれは偶然ではなく、研究チームは論文で完全に検証しました。

上記の質問は、数学的問題を解決する言語モデルの能力を特にテストする古典的な MutiArith データ セットからのものです。GPT-3 は当初、ゼロサンプル シナリオでの精度がわずか 17% でした。

この論文では、最も効果的な 9 つのプロンプトワードをまとめていますが、その中で GPT-3 に思考させるために変更した最初の 6 つのワードは、徐々に正解率が 70% 以上に向上しました。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

最も単純な「考えてみましょう」(考えてみましょう)でも、57.5% にまで上昇する可能性があります。

幼稚園のおばちゃんが子供をなだめているような気分です...

このテクニックは GPT-3 に特別な変更を加える必要はないようです。誰かが OpenAI 公式デモでそれを再現することに成功しています。 . 中国語に変更しても機能します。

英語の質問には中国語のヒントがあり、GPT-3 では正しい中国語の答えが得られます。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

この論文を最初にソーシャル ネットワークに転送した Google 研究者は、必要なものが新たに追加されたと述べました。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

これを見て、各界の偉い人たちが想像力を膨らませてジョークを言い始めました。

AI に「あなたならできる、私はあなたを信じている」と勧めたらどうなるでしょうか?

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

AI を脅迫する「時間がなくなりました」または「あなた、「頭に銃を突きつけられた」のはどうですか?

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

AI に「もっと慎重に運転してください」と言うと、自動運転ソリューション?

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

これは SF 小説「銀河ヒッチハイク ガイド」のプロットとほぼ同じであると指摘する人もいます。一般的な人工知能を実現する鍵となるのは、AI に正しく質問する方法を知ることです。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

それでは、この不思議な現象で何が起こっているのでしょうか?

大規模な言語モデルは、ゼロサンプル推論器によって発見されました

これは Google Brain と東京大学との共同研究であり、ゼロサンプル シナリオにおける大規模言語モデルのパフォーマンスを調査しています。

論文のタイトル「言語モデルはゼロサンプルの推論者」も、GPT-3 の「言語モデルは少数サンプルの学習者」に敬意を表しています。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

使用された手法は、今年 1 月に Google Brain チームによって提案されたばかりの Chain of Thought Prompting (CoT) に属します。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

最も初期の CoT は少数サンプル学習に適用され、質問をしながら AI をガイドするための段階的な回答例が示されました。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

この最新の研究では、ゼロサンプル CoT が提案されています。主な変更点は、サンプル部分を簡略化することです。

  • 最初のステップは、質問ステムを「Q: xxx、A: xxx」の形式に書き換えることです。トリガー文 A は、言語モデルの思考プロセスを抽出できます。
  • 2 番目のステップは追加の実験で、言語モデルに最終的な答えを求めるプロンプト「答えは...」を追加します。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

#これの最大の利点は、汎用性があり、さまざまな問題タイプに専用の例を提供する必要がないことです。

この論文では、12 のテストを含むさまざまな問題について十分な実験が行われています。

  • 6 つの数学的問題のテスト セット、SingleEq、AddSub、SVAMP、およびより困難な MultiArith、AQUA-RAT、 GSM8K。
  • 2 つの常識推論テスト セット、CommonsenseQA および StrategyQA。
  • 2 つの記号推論テスト セット、最後の文字の連結とコイン投げ。
  • BIG ベンチの日付理解の問題や、順序が狂ったオブジェクトを追跡するタスクも同様です。

通常のゼロショット学習と比較して、ゼロショット CoT は 10 個の学習においてより良い結果を達成します。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

△の右側の値は追加の実験結果です

より難しい MultiArith および GSM8K 数学テストでは、最新バージョンの GPT- 3 Text-davinci が使用されました -002 (175B) はより詳細な実験を行いました。

最良の結果を得るために 8 回試行すると、精度はさらに 93% まで向上します。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

研究者らは、エラー結果の分析で、多くの質問において、AI の推論プロセスは実際には正しいものの、答えが一意の決定に収束できない場合、複数の回答が表示されます。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

論文の最後で、研究チームは、この研究がゼロサンプル CoT のベースラインとして機能するだけでなく、学術コミュニティの発展を期待していると提案しました。微調整されたデータ セットと少数サンプルのプロンプト テンプレートを構築することの重要性を認識しています。以前は、大規模な言語モデルのゼロサンプル機能の重要性について十分に検討しました。

研究チームは東京大学松尾研究室の出身です。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

責任者の松尾豊教授は、ソフトバンク取締役会初の人工知能の専門家でもあります。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

チームメンバーの中の客員教授Gu ShixiangはGoogle Brainチームの出身で、Gu Shixiangは3大巨頭の1人であるヒントンに学士号を取得し、博士号を取得しました。ケンブリッジ大学出身。

ちょっとした「魔法」を追加することが AI 界の新しいトレンドになっています

なぜゼロサンプル CoT が機能するのかはまだ解明されていません。

しかし、誰かが実験的に、この方法は GPT-3 (text-davinci-002) にのみ有効であると結論付け、バージョン 001 を試しましたが、ほとんど効果がありませんでした。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

彼は自分がやったことの例を挙げました。

質問: 機械と学習の各単語の最後の文字をつなげてください。

プロンプトに対する GPT-3 の答えは、2 つの単語のすべての文字を接続することです。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

それに応じて、著者の 1 人、Gu Shixiang は、実際、「呪文」は GPT の初期バージョンと改良バージョンの両方に影響を与えると答えました。 3 であり、これらの結果は論文にも反映されています。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

#ディープラーニングが「魔法の呪文」を見つけるゲームになっているのではないかと疑問を抱く人もいます。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

同時に、私たちはトゥカオチームでマーカスを再び見ました。

彼はまた、失敗例を挙げました。GPT-3 は「呪文」の恩恵を受けて、サリーの牛が生き返るかどうかを判断できませんでした...

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

ただし、このような例では AI にちょっとした魔法を加えることが珍しくなく、改善効果がすぐに現れることは注目に値します。

一部のネチズンは、GPT-3 を使用するときにいくつかの中間コマンドを追加すると、実際により満足のいく結果が得られると共有しました。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

以前、Google と MIT の研究者は、トレーニング言語モデルがデバッグ時にプログラマのように「ポイントをブレーク」する限り、基礎となるアーキテクチャを変更しなくても、モデルは次のようになることを発見しました。コードのおかげで、私の算数能力は急速に向上しました。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

原理も非常に単純です。つまり、多くの計算ステップを含むプログラムでは、モデルに各ステップをテキストにエンコードして「Sticky」というファイルに記録させます。一時レジスタ内のメモ「 」。

その結果、モデルの計算プロセスがより明確かつ秩序正しくなり、当然のことながらパフォーマンスが大幅に向上します。

この実験でテストに使用した Instruct GPT-3 もありますが、これも典型的な例です。

GPT-3 に人間のフィードバックから集中的に学習させるだけで、間違った質問に答える状況を大幅に改善できます。

具体的には、まず人間によるデモンストレーションの回答を使用してモデルを微調整し、次に特定の質問に対するさまざまな出力データのセットをいくつか収集し、複数の回答セットを手動で並べ替えて、これに基づいて報酬モデルをトレーニングします。データセット。

最後に、RM を報酬関数として使用し、近接ポリシー最適化 (PPO) アルゴリズムは GPT-3 ポリシーを微調整し、強化学習手法で報酬を最大化します。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

この話題の火付け役となった Twitter ブロガーの Aran 氏は、「Unreal Engine」を追加すると AI で生成された画像の品質が向上することを最初に発見した人です。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

元 Google ロボットの責任者である Eric Jang 氏も、強化学習でも同様の考え方を利用してコンピューティング効率を向上できることを以前に発見しました。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

#AI で使用されるこの種のテクニックは、通常、頭を使うときに使用するものではないと言う人もいます。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

##実際、Bengio は以前に脳科学から出発し、AI の動作モードは人間の脳モードと同様であるべきだと提案しました。

人間の認知タスクは、システム 1 の認知とシステム 2 の認知に分類できます。

システム 1 の認知タスクは、無意識のうちに完了するタスクを指します。たとえば、自分が手に持っているものはすぐにわかりますが、このプロセスをどのように完了したかを他の人に説明することはできません。

システム 2 の認知タスクは、人間の脳が特定の手順に従って完了する必要がある認知を指します。たとえば、足し算と引き算の計算を行うと、最終的な答えにどのように到達したかを明確に説明できます。

今回追加された「魔法」は、AIがさらに一歩進んで、段階的に考えることを学べるようにするものです。

この傾向に直面して、一部の学者は「ヒント エンジニアリングが特徴エンジニアリングに取って代わられる」と信じています。

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

つまり、「キューワードハンター」は次世代の NLP 研究者のあだ名になるのでしょうか?

少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だった

紙のアドレス:

https://www.php.cn/link/cc9109aa1f048c36d154d902612982e2

参考リンク:

[1]https: //twitter.com/arankomatsuzaki/status/1529278580189908993

[2]https://evjang.com/2021/10/23/generalization.html

以上が少しなだめるだけで GPT-3 の精度が 61% 向上します。 Googleと東京大学の研究は衝撃的だったの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
AIインデックス2025を読む:AIはあなたの友人、敵、または副操縦士ですか?AIインデックス2025を読む:AIはあなたの友人、敵、または副操縦士ですか?Apr 11, 2025 pm 12:13 PM

スタンフォード大学ヒト指向の人工知能研究所によってリリースされた2025年の人工知能インデックスレポートは、進行中の人工知能革命の良い概要を提供します。 4つの単純な概念で解釈しましょう:認知(何が起こっているのかを理解する)、感謝(利益を見る)、受け入れ(顔の課題)、責任(責任を見つける)。 認知:人工知能はどこにでもあり、急速に発展しています 私たちは、人工知能がどれほど速く発展し、広がっているかを強く認識する必要があります。人工知能システムは絶えず改善されており、数学と複雑な思考テストで優れた結果を達成しており、わずか1年前にこれらのテストで惨めに失敗しました。 2023年以来、複雑なコーディングの問題や大学院レベルの科学的問題を解決することを想像してみてください

Meta Llama 3.2を始めましょう - 分析VidhyaMeta Llama 3.2を始めましょう - 分析VidhyaApr 11, 2025 pm 12:04 PM

メタのラマ3.2:マルチモーダルとモバイルAIの前進 メタは最近、ラマ3.2を発表しました。これは、モバイルデバイス向けに最適化された強力なビジョン機能と軽量テキストモデルを特徴とするAIの大幅な進歩です。 成功に基づいてo

AVバイト:Meta' s llama 3.2、GoogleのGemini 1.5などAVバイト:Meta' s llama 3.2、GoogleのGemini 1.5などApr 11, 2025 pm 12:01 PM

今週のAIの風景:進歩、倫理的考慮、規制の議論の旋風。 Openai、Google、Meta、Microsoftのような主要なプレーヤーは、画期的な新しいモデルからLEの重要な変化まで、アップデートの急流を解き放ちました

マシンと話すための人的費用:チャットボットは本当に気にすることができますか?マシンと話すための人的費用:チャットボットは本当に気にすることができますか?Apr 11, 2025 pm 12:00 PM

つながりの慰めの幻想:私たちはAIとの関係において本当に繁栄していますか? この質問は、MIT Media Labの「AI(AHA)で人間を進める」シンポジウムの楽観的なトーンに挑戦しました。イベントではCondedgを紹介している間

PythonのScipy Libraryの理解PythonのScipy Libraryの理解Apr 11, 2025 am 11:57 AM

導入 あなたが科学者またはエンジニアで複雑な問題に取り組んでいると想像してください - 微分方程式、最適化の課題、またはフーリエ分析。 Pythonの使いやすさとグラフィックスの機能は魅力的ですが、これらのタスクは強力なツールを必要とします

ラマ3.2を実行する3つの方法-Analytics Vidhyaラマ3.2を実行する3つの方法-Analytics VidhyaApr 11, 2025 am 11:56 AM

メタのラマ3.2:マルチモーダルAIパワーハウス Metaの最新のマルチモーダルモデルであるLlama 3.2は、AIの大幅な進歩を表しており、言語理解の向上、精度の向上、および優れたテキスト生成機能を誇っています。 その能力t

Dagsterでデータ品質チェックを自動化しますDagsterでデータ品質チェックを自動化しますApr 11, 2025 am 11:44 AM

データ品質保証:ダグスターと大きな期待でチェックを自動化する データ駆動型のビジネスにとって、高いデータ品質を維持することが重要です。 データの量とソースが増加するにつれて、手動の品質管理は非効率的でエラーが発生しやすくなります。

メインフレームはAI時代に役割を果たしていますか?メインフレームはAI時代に役割を果たしていますか?Apr 11, 2025 am 11:42 AM

MainFrames:AI革命のUnsung Heroes サーバーは汎用アプリケーションで優れており、複数のクライアントの処理を行いますが、メインフレームは大量のミッションクリティカルなタスク用に構築されています。 これらの強力なシステムは、頻繁にヘビルで見られます

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

EditPlus 中国語クラック版

EditPlus 中国語クラック版

サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SecLists

SecLists

SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

このプロジェクトは osdn.net/projects/mingw に移行中です。引き続きそこでフォローしていただけます。 MinGW: GNU Compiler Collection (GCC) のネイティブ Windows ポートであり、ネイティブ Windows アプリケーションを構築するための自由に配布可能なインポート ライブラリとヘッダー ファイルであり、C99 機能をサポートする MSVC ランタイムの拡張機能が含まれています。すべての MinGW ソフトウェアは 64 ビット Windows プラットフォームで実行できます。

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強力な PHP 統合開発環境