清華大学と Zhipu AI オープンソース GLM-4: 自然言語処理に新たな革命を起こす

2023 年 3 月 14 日の ChatGLM-6B の発売以来、GLM シリーズ モデルは幅広い注目と認知を得てきました。特にChatGLM3-6Bがオープンソース化されてからは、Zhipu AIが投入する第4世代モデルに対する開発者の期待が高まっている。 GLM-4-9B のリリースにより、この期待はついに完全に満たされました。

GLM-4-9Bの誕生

小型モデル（10B以下）により強力な機能を与えるために、GLM技術チームはこの新しい第4世代GLMシリーズのオープンソースモデルをほぼ半年後に発売しました。探査：GLM-4-9B。このモデルは、精度を確保しながらモデルサイズを大幅に圧縮し、推論速度の高速化と効率化を実現しています。 GLM 技術チームの探求に終わりはなく、より競争力のあるオープンソース

革新的な事前トレーニング テクノロジー

の立ち上げに向けて引き続き努力していきます 事前トレーニング プロセス中に、大規模な言語モデルを導入しましたデータスクリーニングを行い、最終的に10Tの高品質多言語データを取得しました。このデータ量はChatGLM3-6Bモデルの3倍以上です。さらに、効率的な事前トレーニングを実現するFP8テクノロジーを採用し、第3世代モデルと比較してトレーニング効率が3.5倍向上しました。ユーザーのストレージニーズを考慮して、GLM-4-9B のパラメータサイズは 6B から 9B に増加しました。最終的に、限られたストレージ条件下でパフォーマンス能力を最大化するために、事前トレーニングの計算を 5 倍に増やしました。

優れたパフォーマンスのデモンストレーション

GLM-4-9B は、より強力な推論パフォーマンス、より優れたコンテキスト処理機能、多言語サポート、マルチモーダル処理、およびすべてのツールが呼び出す完全なツール セットを備えた包括的なテクノロジー アップグレード ツールです。などの利点があります。これらのアップグレードにより、より安定した、より信頼性の高い、より正確な技術サポートがユーザーに提供され、ユーザーの作業効率と品質が向上します。

GLM-4-9B シリーズには複数のバージョンが含まれています:

• 基本バージョン: GLM-4-9B (8K)
• 会話バージョン: GLM-4-9B-Chat (128K)
• 超長いコンテキスト バージョン: GLM-4-9B-Chat-1M (1M)
• マルチモーダルバージョン: GLM-4V-9B-Chat (8K)

GLM-4-9Bの強力な機能

基本機能

強力な事前トレーニングに基づいて、GLM-4-9B の総合的な中国語と英語の能力は、ChatGLM3-6B と比較して 40% 向上しました。特に、中国語アライメント機能 AlignBench、命令準拠機能 IFeval、およびエンジニアリング コード処理機能 Natural Code Bench で大幅な改善が達成されました。より多くのトレーニング量を備えた Llama 3 8B モデルと比較しても、GLM-4-9B はまったく劣ることはなく、中国語科目の分野では GLM-4-9B が最大 50% 向上しました。評価表】。

長いテキスト処理能力

写真

GLM-4-9B+ モデルのコンテキスト長は 128K から 1M トークンに拡張されました。これは、最大 200 万単語の入力を処理できることを意味します。これは、『紅楼夢』2冊、または学術論文125冊分に相当します。 GLM-4-9B-Chat-1M モデルは、「干し草の山の中の針」実験において、長いテキスト入力を非破壊的に処理する優れた能力を実証することに成功しました [長いテキスト実験の図]。

以下は、長いテキスト処理機能を示す 2 つのデモ ビデオ ケースです:

1. GLM-4-9B-チャット モデル: 合計長約 128K の PDF ファイルを 5 つ入力し、プロンプトに関する記事を作成します。中国における大型モデルの開発に関する詳細な調査報告書。このモデルは、高品質の調査レポートを迅速に生成できます (ビデオは高速化されません)。
2. GLM-4-9B-Chat-1M モデル: 「三体問題」全集に約 90 万語を入力し、モデルに小説の続編のあらすじを書いてもらいます。モデルは合理的に計画されており、継続フレームワークが提供されています (ビデオは 10 倍に高速化されています)。

多言語サポート

GLM-4-9B+ は、中国語、英語、ロシア語などを含む最大 26 言語をサポートします。トークナイザーの語彙サイズが 65K から 150K に拡張され、コーディング効率が 30% 向上しました。多言語の理解と生成タスクでは、GLM-4-9B-Chat が Llama-3-8B-Instruct を上回っています [多言語パフォーマンス比較表]。

関数呼び出し機能

GLM-4-9B の関数呼び出し機能は、Berkeley Function-Calling Leaderboard で前世代と比較して 40% 向上しており、その関数呼び出し機能は GPT-4 [関数呼び出しパフォーマンス] に匹敵します。比較表]。

すべてのツール フルツール呼び出し

「すべてのツール」機能は、モデルがタスクの完了を支援するためにさまざまな外部ツール (コード実行、ネットワーク ブラウズ、描画など) を理解して使用できることを意味します。 1 月 16 日の Zhipu DevDay では、GLM-4 モデルが All Tools 機能で完全にアップグレードされました。これにより、Web ブラウザ、コード インタープリタ、CogView、その他のツールをインテリジェントに呼び出して、複雑なリクエストを完了できます [All Tools タスク アイコン]。

マルチモーダル処理

GLM-4 に基づくオープンソースのマルチモーダル モデルである GLM-4V-9B は、高解像度の入力を処理し、トレーニング用にビジュアル データとテキスト データを直接混合してデモンストレーションすることができます。 GPT-4Vと同等のマルチモーダル処理効果を実現。複雑なマルチモーダル タスクを識別して処理する場合、非常に優れたパフォーマンスを発揮します [マルチモーダル アプリケーション例図]。

写真

今後の展望

GLM-4-9B は、さまざまなタスクでその強力なパフォーマンスを実証し、自然言語処理の分野で画期的な進歩を遂げました。学術研究でも産業用途でも、GLM-4-9B が最良の選択となるでしょう。

GLM-4 ユーザーの仲間入りをして、この優れたモデルによってもたらされる可能性を探求することを心からお勧めします:

• GitHub リポジトリ
• Hugging Face モデル ページ
• Magic Community

以上が清華大学と Zhipu AI オープンソース GLM-4: 自然言語処理に新たな革命を起こすの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。