検索
ホームページテクノロジー周辺機器AILi Zhifei: GPT-4 に関する 8 つの観測、マルチモーダル大規模モデルの競争が始まる

GPT-4 は、標準化されたテストやその他のベンチマークで以前のモデルを上回り、数十の言語で動作し、入力として画像を取得します。つまり、チャットのコンテキストで写真や図の意図やロジックを理解できます。

Microsoft は 3 月初旬にマルチモーダル モデル Kosmos-1 をリリースして以来、OpenAI のマルチモーダル モデルをテストおよび調整し、Microsoft 独自の製品との互換性を高めてきました。

案の定、GPT-4 のリリースに乗じて Microsoft も正式に手を出し、新しい Bing はすでに GPT-4 を使用しています。

Li Zhifei: GPT-4 に関する 8 つの観測、マルチモーダル大規模モデルの競争が始まる

ChatGPT で使用される言語モデルは GPT-3.5 です。GPT-4 が以前のバージョンよりもどのように強力であるかについて話したとき、OpenAI は、これら 2 つのバージョンは現在ランダム 話は似ていますが、「タスクの複雑さが十分なしきい値に達すると違いが現れます。」 GPT-4 はより信頼性が高く、より創造的で、より微妙な指示を処理できます。

国王が戴冠する? GPT-4 に関する 8 つの観察結果

#1. これまた驚くべき、人間よりも優れています

GPT-3 シリーズのモデルが AI に複数のタスクを実行できることを証明できれば、 GPT-4 は多くのタスクで人間のレベルに達しており、人間よりも優れたパフォーマンスを発揮します。 GPT-4 は多くの専門学術試験で人間の 90% を超えており、例えば司法試験模擬試験では、そのスコアは受験者の上位 10% にランクされています。さまざまな初等中等教育、大学、専門教育がこれにどう対応すべきでしょうか。

2. "科学的" 錬金術

今回、OpenAI は具体的なパラメーターを発表しませんでしたが、GPT-4 モデルが小さくないはずであることが推測できます。モデルが多すぎると、トレーニング コストが高くなります。同時に、モデルのトレーニングは「エリクサーの精製」と非常に似ており、多くの実験が必要ですが、これらの実験を実際の環境でトレーニングすると、誰もが高いコストのプレッシャーに耐えられるわけではありません。

この目的のために、OpenAI は、いわゆる「予測可能なスケーリング」を独創的に開発しました。つまり、各実験の結果 (損失と人間の評価) を予測するためにコストの 1 万分の 1 を使用します。このようにして、当初の大規模な「幸運な」錬金術訓練は、「半科学的」錬金術訓練にアップグレードされました。

3. 一石二鳥のクラウドソーシング評価

今回は、オープンソースの OpenAI Evals を非常に「スマート」な方法で提供し、誰でも利用できるようにします。クラウドソーシング 開発者や愛好家は、Evals を使用してモデルをテストし、同時に開発者エコシステムに参加することができます。この方法は、全員が参加意識を持てるだけでなく、全員が無料でシステムの評価や改善に協力することができ、質問やフィードバックもOpenAIが直接取得できるので一石二鳥です。

Li Zhifei: GPT-4 に関する 8 つの観測、マルチモーダル大規模モデルの競争が始まる

Li Zhifei: GPT-4 に関する 8 つの観測、マルチモーダル大規模モデルの競争が始まる

#4. エンジニアリングリーク修理

今回はシステムカードもリリースされました。これは、脆弱性を発見し、言語モデルの「無意味な」問題を軽減できるオープンな「パッチ適用」ツールです。前処理と後処理のためにシステムにさまざまなパッチが適用されており、パッチ適用機能を全員にクラウドソーシングするためにコードが後で公開される予定で、将来的には OpenAI によって全員がそれを支援できるようになる可能性があります。これは、LLM がついに、エレガントでシンプルな次のトークン予測タスクから、さまざまな厄介なエンジニアリング ハックに移行したことを示しています。

5. マルチモーダル

ドイツの Microsoft が先週、GPT-4 がマルチモーダルであることを明らかにして以来、一般の人々は非常に期待していました。

GPT-4 は長い間存在しています。「人間の脳に匹敵する」として知られるマルチモーダル機能は、実際には、多くの最新論文で説明されているマルチモーダル機能とそれほど変わりません。テキストモデルの少数ショットと論理チェーン(COT)を組み合わせるということですが、ここでの前提は、優れた基本機能とマルチモダリティを備えたテキストLLMが必要であり、それが良い結果を生み出すということです。

Li Zhifei: GPT-4 に関する 8 つの観測、マルチモーダル大規模モデルの競争が始まる

#6. 「King Explosion」を計画的にリリース

GPT-4 をデモする OpenAI のデモビデオによると, GPT-4は昨年8月にはすでにトレーニングを完了していましたが、本日リリースされたばかりで、残りの時間は大量のテストやさまざまなバグ修正、そして最も重要な危険なコンテンツ生成の除去に費やされています。

ChatGPT の驚くべき生成機能に誰もがまだ夢中になっている一方で、OpenAI はすでに GPT-4 を解決しています。この Google エンジニアの波は、おそらく再び追いつくために夜更かししなければならないでしょう?

7. OpenAI は Open ではなくなりました

OpenAI は公開論文でモデル パラメーターとデータ サイズについて言及しませんでした (オンラインで送信された GPT-4 パラメーターは 100 に達しました) GPT-4 の作り方を学んだ後は、誰もが GPT-4 を悪用したり、制御不能な事態を引き起こしたりするのではないかと心配しています。私個人としては、これにはまったく同意できません。ここにはシルバーの実践はありません。

8. 大きなことに努力を集中しましょう

さまざまな「スキルの披露」に加えて、この論文では GPT-4 のさまざまなシステムに貢献したすべての人々のリストを 3 ページも使っています。大まかに見積もっても 100 人以上いるはずです。これもまた、OpenAI の内部チーム メンバー間の結束と高度なコラボレーションを反映しています。他社のチーム戦闘力と比較すると、団結力という点では少し遅れているでしょうか?

現在、マルチモーダル大型モデルは、AI 大型モデル全体の開発のトレンドであり、重要な方向性となっています。この大型モデル AI の「軍拡競争」では、Google、Microsoft、 DeepMind は、モーダルラージモデル (MLLM) またはラージモデル (LLM) といったマルチモーダル モデルを積極的に立ち上げています。

新たな軍拡競争の幕開け: マルチモーダル大規模モデル

Li Zhifei: GPT-4 に関する 8 つの観測、マルチモーダル大規模モデルの競争が始まる

Microsoft: Kosmos-1

Microsoft は 3 月初旬に 16 億個のパラメータを備えたマルチモーダル モデル Kosmos-1 をリリースしましたが、そのネットワーク構造は Transformer の因果言語モデルに基づいています。その中で、Transformer デコーダは、マルチモーダル入力のユニバーサル インターフェイスとして使用されます。

Kosmos-1 モデルは、さまざまな自然言語タスクに加えて、視覚的な対話、視覚的な説明、視覚的な質問応答、画像の字幕、単純な数式など、知覚を必要とする幅広いタスクをネイティブに処理できます。 、OCR および説明 ゼロショット画像分類。

Li Zhifei: GPT-4 に関する 8 つの観測、マルチモーダル大規模モデルの競争が始まる

Google: PaLM-E

3 月初旬、Google とベルリン工科大学の研究チームは、最大規模のビジュアルを公開しました。現在までの言語モデル — —PaLM-E、最大 5,620 億のパラメーター (PaLM-540B ViT-22B)。

PaLM-E は、プレフィックスまたはプロンプトを指定して自己回帰的にテキスト補完を生成できる、大規模なデコーダー専用モデルです。モデルにエンコーダーを追加することで、モデルは画像または感覚データを言語タグと同じサイズの一連のベクトルにエンコードし、これをエンドツーエンド トレーニングの次のトークン予測の入力として使用できます。

DeepMind: Flamingo

DeepMind は、昨年 4 月に Flamingo 視覚言語モデルを立ち上げました. このモデルは、画像、ビデオ、テキストをプロンプト (プロンプト) として使用し、関連する言語を出力します追加のトレーニングなしで多くの問題を解決するには、少数の具体的な例が必要です。

画像 (ビデオ) とテキストを相互入力することでモデルをトレーニングします。これにより、モデルは少数ショットのマルチモーダル シーケンス推論機能を備え、「テキスト説明の補完、VQA/テキスト VQA」およびその他のタスクを完了できます。 。

現在、マルチモーダル大規模モデルは、より多くのアプリケーションの可能性を示しており、比較的成熟したヴィンセント図に加えて、人間とコンピュータの相互作用、ロボット制御、画像検索、音声生成などの多数のアプリケーションが可能になっています。次々と登場しました。

まとめると、GPT-4 は AGI ではありませんが、マルチモーダル大規模モデルはすでに明確で明確な開発の方向性です。統一された、クロスシナリオ、マルチタスク、マルチモーダルの基本モデルを確立することは、人工知能の開発における主流のトレンドの 1 つになります。

ヒューゴは「科学は最終段階に達すると想像力に出会う。」と述べましたが、マルチモーダルな大型モデルの未来は人間の想像を超えているかもしれません。

以上がLi Zhifei: GPT-4 に関する 8 つの観測、マルチモーダル大規模モデルの競争が始まるの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51ctoで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
10生成AIコーディング拡張機能とコードのコードを探る必要があります10生成AIコーディング拡張機能とコードのコードを探る必要がありますApr 13, 2025 am 01:14 AM

ねえ、忍者をコーディング!その日はどのようなコーディング関連のタスクを計画していますか?このブログにさらに飛び込む前に、コーディング関連のすべての問題について考えてほしいです。 終わり? - &#8217を見てみましょう

革新を調理する:人工知能がフードサービスを変革する方法革新を調理する:人工知能がフードサービスを変革する方法Apr 12, 2025 pm 12:09 PM

食品の準備を強化するAI まだ初期の使用中ですが、AIシステムは食品の準備にますます使用されています。 AI駆動型のロボットは、ハンバーガーの製造、SAの組み立てなど、食品の準備タスクを自動化するためにキッチンで使用されています

Pythonネームスペースと可変スコープに関する包括的なガイドPythonネームスペースと可変スコープに関する包括的なガイドApr 12, 2025 pm 12:00 PM

導入 Python関数における変数の名前空間、スコープ、および動作を理解することは、効率的に記述し、ランタイムエラーや例外を回避するために重要です。この記事では、さまざまなASPを掘り下げます

ビジョン言語モデル(VLM)の包括的なガイドビジョン言語モデル(VLM)の包括的なガイドApr 12, 2025 am 11:58 AM

導入 鮮やかな絵画や彫刻に囲まれたアートギャラリーを歩くことを想像してください。さて、各ピースに質問をして意味のある答えを得ることができたらどうでしょうか?あなたは尋ねるかもしれません、「あなたはどんな話を言っていますか?

MediaTekは、Kompanio UltraとDimenity 9400でプレミアムラインナップをブーストしますMediaTekは、Kompanio UltraとDimenity 9400でプレミアムラインナップをブーストしますApr 12, 2025 am 11:52 AM

製品のケイデンスを継続して、今月MediaTekは、新しいKompanio UltraやDimenity 9400を含む一連の発表を行いました。これらの製品は、スマートフォン用のチップを含むMediaTekのビジネスのより伝統的な部分を埋めます

今週のAIで:Walmartがファッションのトレンドを設定する前に設定します今週のAIで:Walmartがファッションのトレンドを設定する前に設定しますApr 12, 2025 am 11:51 AM

#1 GoogleはAgent2Agentを起動しました 物語:月曜日の朝です。 AI駆動のリクルーターとして、あなたはより賢く、難しくありません。携帯電話の会社のダッシュボードにログインします。それはあなたに3つの重要な役割が調達され、吟味され、予定されていることを伝えます

生成AIは精神障害に会います生成AIは精神障害に会いますApr 12, 2025 am 11:50 AM

私はあなたがそうであるに違いないと思います。 私たちは皆、精神障害がさまざまな心理学の用語を混ぜ合わせ、しばしば理解できないか完全に無意味であることが多い、さまざまなおしゃべりで構成されていることを知っているようです。 FOを吐き出すために必要なことはすべてです

プロトタイプ:科学者は紙をプラスチックに変えますプロトタイプ:科学者は紙をプラスチックに変えますApr 12, 2025 am 11:49 AM

今週公開された新しい研究によると、2022年に製造されたプラスチックの9.5%のみがリサイクル材料から作られていました。一方、プラスチックは埋め立て地や生態系に積み上げられ続けています。 しかし、助けが近づいています。エンジンのチーム

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

WebStorm Mac版

WebStorm Mac版

便利なJavaScript開発ツール

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

Dreamweaver Mac版

Dreamweaver Mac版

ビジュアル Web 開発ツール

mPDF

mPDF

mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。

AtomエディタMac版ダウンロード

AtomエディタMac版ダウンロード

最も人気のあるオープンソースエディター