Gemini 1.5 の 100 万トークン コンテキストがゲームチェンジャーである理由

Google Gemini 1.5 には、100 万トークンという大規模なコンテキスト ウィンドウが付属しており、ChatGPT、Claude、その他の AI チャットボットにおける直接の競合を小さくしています。

それは大規模なアップグレードのように聞こえ、Gemini を際立たせる可能性があります。その全容を把握するのは少し難しいですが、Gemini の巨大なコンテキスト ウィンドウはゲームチェンジャーになる可能性があります。

コンテキストウィンドウとは何ですか?

コンセプトの説明やテキストの要約など、クエリに応答する際、AI モデルが応答を生成するために考慮できるデータの量には制限があります。考慮できるテキスト サイズの制限は、コンテキスト ウィンドウと呼ばれます。

別の見方もできます。食料品リストを持たずに食料品を買いに食料品店に行ったとします。買い物の際に覚えておく食料品の数の制限は、コンテキスト ウィンドウによって決まります。覚えている食料品が多ければ多いほど、買い物計画を台無しにしない可能性が高くなります。同様に、AI モデルのコンテキスト ウィンドウが大きいほど、最良の結果を提供するために必要なすべてをモデルが記憶する可能性が高くなります。

この記事の執筆時点では、Anthropic の Claude 2.1 の 200k コンテキスト ウィンドウは、一般に利用可能な AI モデルの中で最大のコンテキスト ウィンドウです。これに、128k コンテキスト ウィンドウを備えた GPT-4 Turbo が続きます。 Google Gemini 1.5 は、市場にあるものよりも 4 倍大きい 100 万個のコンテキスト ウィンドウを実現します。これは大きな疑問につながります。100 万トークンのコンテキスト ウィンドウで何が問題になるのでしょうか?

Gemini 1.5 のコンテキスト ウィンドウが重要な理由

より明確な観点から言えば、Claude AI の 200,000 コンテキスト ウィンドウは、約 150,000 語の本を消化し、それに対する答えを提供できることを意味します。それは大規模です。しかし、Google の Gemini 1.5 は一度に 700,000 語を消化できるでしょう。

ChatGPT や Gemini などの AI チャットボットに大きなテキスト ブロックをフィードすると、できるだけ多くのテキストをダイジェストしようとしますが、どの程度ダイジェストできるかはコンテキスト ウィンドウによって異なります。したがって、28,000 語しか処理できないモデルで 100,000 語に達する会話を行った後、100,000 語に相当する会話全体について完全な知識を必要とする質問をし始めると、失敗するように設定していることになります。

1 時間の映画のうち 20 分しか見ていないのに、映画全体の説明を求められることを想像してみてください。どれくらい良い結果が得られるでしょうか?回答を拒否するか、単純にでっちあげます。これはまさに AI チャットボットの行いであり、AI の幻覚を引き起こします。

さて、チャットボットに 10 万語を入力する必要がなかったと思っているなら、それが考慮事項のすべてではありません。コンテキスト ウィンドウは、単一のプロンプトで AI モデルに入力するテキストだけを超えます。 AI モデルは、チャット セッション中の会話全体を考慮して、応答が可能な限り関連性のあるものであることを確認します。

つまり、10 万語の単語帳を与えていなくても、往復の会話とそれが提供する返信はすべてコンテキスト ウィンドウの計算に追加されます。 ChatGPT または Google の Gemini が、会話の前半で話した内容をなぜ忘れ続けるのか不思議に思いませんか?コンテキスト ウィンドウのスペースが不足し、内容を忘れ始めた可能性があります。

大きなコンテキスト ウィンドウは、長い記事の要約、複雑な質問への回答、生成されたテキストの一貫した説明の維持など、コンテキストの深い理解を必要とするタスクに特に重要です。全体を通して一貫した物語を持つ 50,000 語の小説を書きたいですか? 1 時間のビデオ ファイルを「見て」質問に答えることができるモデルが必要ですか?より大きなコンテキスト ウィンドウが必要です。

つまり、Gemini 1.5 のより大きなコンテキスト ウィンドウは、AI モデルのパフォーマンスを大幅に向上させ、幻覚を軽減し、精度と指示に従う能力を大幅に向上させる可能性があります。

Gemini 1.5 は期待に応えられるでしょうか?

すべてが計画通りに進めば、Gemini 1.5 は市場で最高の AI モデルを上回るパフォーマンスを発揮する可能性があります。ただし、安定した AI モデルの構築において Google が何度も失敗したことを考慮すると、慎重になることが重要です。モデルのコンテキスト ウィンドウを強化するだけでは、自動的にモデルが改善されるわけではありません。

私は Claude 2.1 の 200k コンテキスト ウィンドウをリリース以来数か月間使用してきましたが、1 つ明らかなことは、コンテキスト ウィンドウを大きくすると確かにコンテキストの感度を向上させることができますが、コア モデルのパフォーマンスに問題があるため、より大きなコンテキストが問題になる可能性があるということです。それ自体の。

Google Gemini 1.5 は私たちに大きな変革をもたらすでしょうか?ソーシャル メディアは現在、早期アクセス ユーザーによる Gemini 1.5 の熱烈なレビューで溢れています。ただし、5 つ星のレビューのほとんどは、性急な使用例または簡略化された使用例に基づいています。 Gemini 1.5 が実際にどのように動作するかを確認するには、Google の Gemini 1.5 技術レポート [PDF] を参照してください。このレポートは、「制御されたテスト」中であっても、モデルがコンテキスト ウィンドウのサイズ内でドキュメントの小さな詳細をすべて取得できなかったことを示しています。

100 万トークンのコンテキスト ウィンドウは確かに素晴らしい技術的偉業ですが、ドキュメントの詳細を確実に取得できなければ、より大きなコンテキスト ウィンドウは実用的な価値がほとんどなく、精度の低下や幻覚の原因になる可能性さえあります。

以上がGemini 1.5 の 100 万トークン コンテキストがゲームチェンジャーである理由の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。