Alibaba Cloud Tongyi Qianwen 14B モデルはオープンソースです! Llama2などの同サイズモデルを上回る性能

2021 年 9 月 25 日、Alibaba Cloud は、オープンソース プロジェクト Tongyi Qianwen 140 億パラメータ モデル Qwen-14B とその会話モデル Qwen-14B-Chat をリリースし、商用利用は無料です。 Qwen-14B は複数の信頼できる評価で優れたパフォーマンスを示し、同じサイズのモデルを上回り、一部の指標は Llama2-70B に近いものさえあります。以前、Alibaba Cloud は 70 億パラメータ モデル Qwen-7B もオープンソース化しました。ダウンロード数は 1 か月強で 100 万件を超え、オープンソース コミュニティで人気のプロジェクトになりました。

Qwen-14B は複数の機能をサポートするモデル 高性能のオープンソース言語モデルは、同様のモデルよりも多くの高品質データを使用し、全体的なトレーニング データは 3 兆トークンを超え、モデルに強力な推論、認知、計画、記憶機能を与えます。 Qwen-14B は、8k の最大コンテキスト ウィンドウ長をサポートします。

図 1: Qwen-14B は、12 の信頼できる評価において、あらゆる面で同規模の大規模 SOTA モデルを上回っています

Qwen-14B-Chat はベースになっていますon シートモデルに対してファインSFTにより得られた対話モデル。ベースモデルの強力なパフォーマンスにより、Qwen-14B-Chat が生成するコンテンツの精度が大幅に向上し、より人間の嗜好に沿ったものとなり、コンテンツ作成の想像力と豊かさが大幅に拡張されました。

Qwen には優れたツール呼び出し機能があり、開発者が Qwen ベースのエージェントをより迅速に構築できるようになります。開発者は、簡単な指示を使用して Qwen に複雑なツールの使用方法を教えることができます。たとえば、コード インタープリター ツールを使用して Python コードを実行して複雑な数学的計算、データ分析、チャートの描画を行うことができます。さらに、Qwen は、複数ドキュメントの Q&A や長文の書き込みなどの機能を備えた「高度なデジタル アシスタント」を開発することもできます。

パラメータ レベルが数百億以内の大規模な言語モデルが、現在、言語モデルの主流の選択肢となっています。開発者はアプリケーションを開発し、反復することができます。 Qwen-14B は小型モデルの性能上限をさらに向上させ、MMLU、C-Eval、GSM8K、MATH、GaoKao-Bench などを含む 12 の権威ある評価で最高の結果を達成し、SOTA (State-Of) を上回りました。 -The-Art)の大型モデルで、Llama-2-13Bも完全に上回りました。同時に、Qwen-7B も新しいアップグレードを受け、コア指標が最大 22.5% 増加しました。

書き直された内容: 写真 2: Qwen -14B 同じサイズのモデルでより強力なパフォーマンスを示す

ユーザーは、Moda コミュニティからモデルを直接ダウンロードすることも、Alibaba Cloud Lingji プラットフォームを通じて Qwen-14B および Qwen-14B-Chat にアクセスして呼び出すこともできます。 Alibaba Cloud は、モデルのトレーニング、推論、展開、微調整を含む完全なサービスをユーザーに提供します。

8 月、Alibaba Cloud は、Tongyi Qianwen 70 億パラメータのベース モデル Qwen-7B を公開しました。市場のトップ、HuggingFace と Github のトレンド リスト。わずか1か月強で累計ダウンロード数は100万件を突破した。 Qwen に基づく 50 以上のモデルがオープン ソース コミュニティに登場し、コミュニティ内の多くのよく知られたツールやフレームワークに Qwen が統合されています。

#Tongyi Qianwen は、中国で最も詳細かつ広く使用されている大規模モデルです。すでにTongyi Qianwenに接続された国内アプリケーションは数多くあり、これらのアプリケーションの月間アクティブユーザーは1億人を超えています。多くの中小企業、科学研究機関、個人開発者は、Tongyi Qianwen を使用して独自の大規模モデルやアプリケーション製品を開発しています。たとえば、アリババのタオバオ、ディントーク、フューチャーウィザーズのほか、外部の科学研究機関や起業家企業

浙江大学と高等教育出版局は、Qwen-7B に基づいた Zhihai-Sanle 教育垂直モデルを開発しました。全国12の大学で採用されています。このモデルには、インテリジェントな質問応答、テスト問題生成、学習ナビゲーション、指導評価などの機能があります。このモデルは Alibaba Cloud Lingji プラットフォームで提供されており、わずか 1 行のコードで呼び出すことができます。 Zhejiang Youlu Robot Technology Co., Ltd. は、Qwen-7B を自社の道路清掃ロボットに統合し、ロボットがユーザーとリアルタイムで対話し、ユーザーのニーズを理解できるようにしました。ユーザーの高レベルの指示を分析および逆アセンブルし、論理分析とタスク計画を実行して、クリーニングタスクを完了できます。

Alibaba Cloud CTO Zhou Jingren 氏は、Alibaba Cloud は今後もオープンソースのサポートと推進を継続し、全力で取り組んでいくと述べました。中国の大型モデルエコシステム構築を促進する。 Alibaba Cloud は、オープンソースの力を強く信じており、自社の大規模モデル テクノロジーを初めてオープンソース化して、より多くの中小企業や個人の開発者が大規模モデル テクノロジーに迅速にアクセスして適用できるようにしたいと考えています

Alibaba Cloud もリード 中国最大の AI モデル オープンソース コミュニティである ModelScope の構築は、業界全体の力を結集して、大型モデル テクノロジーの普及と応用を共同で促進します。過去 2 か月で、Moda コミュニティのモデル ダウンロード数は 4,500 万から 8,500 万に急増し、ほぼ 100% 増加しました。

書き換えられた内容は次のとおりです: 添付ファイル:

Moda コミュニティ モデルのアドレス:

• https://www.php.cn/link/7463afe23eae7efe3c72737a5d3d693f
• https://www.php.cn/link/9578a63fbe545bd82cc5bbe749636af1

Moda コミュニティ モデルのエクスペリエンスは何ですか?

• https://www.php.cn/link/bd21307bad44dee908db2db5f6bf23c1

Alibaba Cloud Lingji プラットフォームのアドレス:

• https://www.php.cn/link/e44cf9762b402f5d8b5bc36f60304a15
##https://www.php.cn/link/1662d1307aaa81230b651ecf00d27180
書き直す必要がある内容は次のとおりです: Qwen ペーパーのリンク:

https://www.php.cn/link/da796dcc49ab9fc5ac26db17e02a9e33

Github:

https://www.php.cn/link/784a9c5bcc529fa412b038c974aac419
ハグ顔:

https://www.php.cn/link/0247f3dd84906223785fddb18353bafe
https://www.php.cn/link/0247f3dd84906223785fddb18353bafe-Chat

以上がAlibaba Cloud Tongyi Qianwen 14B モデルはオープンソースです! Llama2などの同サイズモデルを上回る性能の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。