Zhiyuanが大型モデルのランキングを更新：Doubaoの大型モデルが「客観的評価」で中国1位にランクイン

FlagEval 評価プラットフォームは、6 月中旬に発表された「客観的評価」の最新リストで、GPT-4 がクローズドソースの大型モデルの中で 1 位、Doubao-Pro (ビーンバッグ大型モデル) が 2 位となり、スコアも獲得しました。国内最大の大型モデル、次に ERNIE 4.0、Baichuan3、Moonshot-v1 などが続きます。自由回答評価でも、Doubao-Pro は GPT-4o および GPT-4 よりも高いスコアを獲得して 2 位にランクされました。新しいテクノロジーは次々と登場しており、新しいテクノロジーに常に注意を払い、適応し続けることができるプラットフォームだけが、この競争の激しい市場で無敵であり続けることができます。単語数: 114

写真: ビーンバッグモデルはFlagEval客観的評価で総合評価2位を獲得しました(2024年6月)

FlagEval 大型モデル評価プラットフォーム Zhiyuan Research Institute と複数の大学チームが共同で構築したもので、人間の認知能力の発達段階に基づいており、大規模モデルが達成できる認知レベルを調整します。 FlagEval は、レビューの品質と公平性を確保するために、多数の独自の非公開レビュー セットを構築しました。 FlagEval は 2023 年 6 月の発売以来、世界中の大型モデルをカバーする 1,000 件を超える評価を完了しました。

Doubao-Pro は ByteDance が独自に開発した大規模言語モデルで、5 月 15 日に正式にリリースされました。今号のFlagEval大型モデルランキングでは、Doubaoの大型モデルが公開評価に初登場し、準優勝を獲得しました。このモデルは強力なシーケンス生成機能と自然言語理解機能を備えており、対話生成、テキスト要約、機械翻訳などの分野で広く使用できます。

客観的評価と主観的評価では、ビーンバッグモデルの数学的能力、知識の応用、課題解決などの能力が、客観的評価と主観的評価の両方で優れたパフォーマンスを発揮することが示されています。このうち、知識応用力と数学的能力の得点は客観的評価で１位、主観的評価で３位以内にランクされ、課題解決の得点は客観的評価で３位以内にランクインした。

数学的能力は、大規模モデルが「賢い」かどうかを評価する際の重要な要素です。以前、復旦大学の自然言語処理研究室は、2024 年の大学入学試験の数学の問題について 13 の主流大型モデル製品の評価を実施し、新しい数学大学入学試験標準 II 論文に対する Doubao の解答が最高の正解率を獲得しました。客観的な質問では 74.66% であり、GPT-4o や多くの国内大型モデル製品よりも優れた結果が得られました。

画像出典: FudanNLPLab公式アカウント

Doubao大規模モデルは、最も豊富なアプリケーションシナリオを備えた中国で最も使用されている大規模モデルの1つであり、1日の平均処理トークンは数千億です。その名を冠した AI 会話アシスタント「Doubao」は、Apple APP Store および主要な Android アプリケーション市場の AIGC アプリケーションの中でダウンロード数で 1 位にランクされています。現在、Doubao Big ModelはByteDanceを通じてサービスをエンタープライズ市場に開放しており、OPPO、Honor、Xiaomi、Samsung、Asusなどのスマート端末メーカーとの協力関係を確立している。

以上がZhiyuanが大型モデルのランキングを更新：Doubaoの大型モデルが「客観的評価」で中国1位にランクインの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。