オープンソースモデルが初めてGPT-4を獲得！アリーナの最新戦闘レポートは白熱した議論を巻き起こしている、カルパシー: これが私が信頼する唯一のリストだ

GPT-4を超えるオープンソースモデルが登場！

大型モデル分野の最新バトルレポート:

1,040 億パラメーターのオープンソース モデル Command R が 6 位に上昇し、GPT-4-0314 と同点となり、GPT-4-0613 を上回りました。 。

写真

これは、大型モデルの分野で GPT-4 を破った初の無差別級モデルでもあります。

大規模なモデル アリーナは、マスター Karpathy が信頼する唯一のテスト ベンチマークの 1 つです。

写真

AI ユニコーン Cohere のコマンド R。この大規模モデルのスタートアップの共同創設者兼 CEO は、『トランスフォーマー』（小麦の刈り取り者と呼ばれる）の最年少著者、エイダン ゴメスにほかなりません。

写真

この戦闘レポートが公開されるとすぐに、大規模なモデル コミュニティで白熱した議論の波が再び起こりました。

誰もが興奮している理由は単純で、基本的な大型モデルが 1 年間展開されてきたためですが、予想外に、そのパターンは 2024 年にも発展し、変化し続けます。

HuggingFace の共同創設者である Thomas Wolf 氏は次のように述べています:

大規模モデル分野の状況は最近劇的に変化しました:

Anthropic の Claude 3 作品はクローズド ソース モデルにあります。彼らの間で先頭に立ってください。

Cohere の Command R は、オープンソース モデルの中で最も強力になりました。

予想外なことに、2024 年には、人工知能チームはオープンソースとクローズドソースの両方のルートで急速に開発されるでしょう。

写真

さらに、Cohere Machine Learning ディレクターの Nils Reimers 氏も注目に値することを指摘しました。

Command の最大の特徴R は、組み込みの RAG (Retrieval Enhanced Generation) が完全に最適化されていますが、大規模モデルの分野では、RAG などのプラグイン機能はテストに含まれていませんでした。

写真

RAG 最適化モデルがオープン ソースの王座に上り詰める

Cohere の公式の位置づけでは、Command R は「RAG 最適化」です。モデル" 。

つまり、1,040 億個のパラメータを持つこの大規模モデルは、幻覚の生成を減らす検索強化生成テクノロジ向けに深く最適化されており、エンタープライズ レベルのワークロードにより適しています。

以前に起動した Command R と同様に、Command R のコンテキスト ウィンドウの長さは 128k です。

さらに、Command R には次の機能もあります:

• 英語、中国語、フランス語、ドイツ語などを含む 10 言語をカバー;
• 使用可能複雑なタスクを完了するためのツール ビジネス プロセスの自動化

テスト結果から判断すると、Command R は、多言語、RAG、ツールの使用という 3 つの側面において GPT-4 ターボのレベルに達しています。

しかし、投入コストの観点から見ると、Command R の価格は GPT-4 ターボのわずか 1/3 です。

出力コストの点では、コマンド R は GPT-4 ターボの 1/2 です。

写真

多くのネチズンの注目を集めているのはこれです:

写真

しかし、大型模型競技場など人間の主観的な評価においては目を引くパフォーマンスにもかかわらず、一部のネチズンは依然としていくつかの異なる意見を表明しました。

HumanEval では、Command R のコーディング能力は GPT-3.5 をも超えておらず、2 つのテスト セットでそれぞれ 32 位と 33 位にランクされています。

最新バージョンのGPT-4ターボがハラハラすることなく1位を獲得しました。

写真

さらに、最近本格的な論文に掲載されている精神薄弱者ベンチマークでコマンド R の中国語能力を簡単にテストしました。

写真

どう評価しますか?

Command R のオープンソースは学術研究のみを目的としており、商用利用は無料ではないことに注意してください。

One More Thing

最後に、小麦刈りの男について詳しく話しましょう。

円卓のトランスフォーマー騎士団の最年少であるエイダン・ゴメスは、研究チームに参加したときまだ学部生でした——

しかし、彼は3年生のときにヒントンの実験に参加しました。トロント大学のこんな部屋です。

2018 年、Kaomaizi はオックスフォード大学に入学し、論文パートナーと同様に CS の博士号取得に向けて勉強を始めました。

しかし、2019 年、Cohere の設立に伴い、彼はついに学校を中退し、AI 起業家の波に加わることを選択しました。

Cohere は主に企業向けに大規模モデル ソリューションを提供しており、現在の評価額は 22 億米ドルに達しています。

参考リンク：
[1]https://www.php.cn/link/3be14122a3c78d9070cae09a16adcbb1[2]https://www.php.cn/ link/93fc5aed8c051ce4538e052cfe9f8692

以上がオープンソースモデルが初めてGPT-4を獲得！アリーナの最新戦闘レポートは白熱した議論を巻き起こしている、カルパシー: これが私が信頼する唯一のリストだの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。