垂直的な大規模モデルの競争はデータの「行き詰まり点」を打ち破ることができるでしょうか?

AI 大型モデルは世界中で人気があり、中国の産業も人工知能アプリケーションに対する新たな熱意を引き起こしています。

大手メーカーの競争参加により、市場はパラメータレベル、アプリケーションシナリオ、ビジネスモデルの違いで一般市場と垂直市場の2つに大きく分かれています, などが徐々に現れてきます。

1. 企業は垂直型大型モデルトラックに注力しています

ChatGPT のような一般的な AI 大型モデルは、さまざまな分野やシナリオで自然言語を扱うことができますが、膨大なコンピューティング リソースとデータ量を必要とします。国内外の大手メーカーの基幹プロジェクトとなっている。

このタイプの企業には通常、強力な技術チームと財務サポートがあり、独自のシナリオとトラフィックの利点もあります。 Baidu、Alibaba、Tencent、Byte、Huawei などの企業は、検索、ソーシャル ネットワーキング、電子商取引、オフィ​​スなどの分野で独自の汎用 AI 大型モデルを採用しています。

これに比べて、スタートアップやニッチ分野の企業は、こうした競争において先行者利益や差別化利益を得ることが困難です。

垂直 AI 大型モデルは、特定の分野やシナリオにのみ焦点を当てており、業界のデータと知識を使用して、より正確で効率的なソリューションを提供し、特定の分野やシナリオのユーザーをより満足させることができます。医療、金融、教育など。

同時に、いくつかのオープンソースまたはクローズドソースの一般的な AI の大規模モデルをベースとして使用し、それらに対して命令チューニングを実行して、独自のターゲット分野やシナリオに適応させることができます。

したがって、パラメータのスケールは一般的な大規模モデルよりも 1 桁低く、データ フライホイールとモデルのトレーニングをうまく組み合わせることができれば、特定の分野ではさらに優れたコストを実現できる可能性があります。一般的な大型モデルに比べて効果が低い。

これに関連して、垂直型大型モデルトラックに参加する企業がますます増えています。

5 月 18 日、Sangfor は中国初の自社開発の大規模セキュリティ モデルをリリースし、セキュリティ分野における GPT テクノロジーの最初の応用となりました;

5 月 5 日、Xueersi は自社開発を行っていると発表しました。 -研究 MathGPT という名前の大規模な数学モデルの研究開発は、世界中の数学愛好家と科学研究機関を対象としています。

明確な商用化シナリオと低いコンピューティング電力コストにより、さまざまな企業が大規模な垂直モデルに参入する扉が開かれました。

2. 垂直大規模モデルのテスト

垂直大規模モデルの利点は、その規模が十分ではないことです: 計算能力が十分に大きくなく、アルゴリズムの難易度が低いため、しかし、これは誰もが縦型大型モデルを実行できることを意味するものではありません。

ご存知のとおり、大規模な AI モデルの 3 つの要素、コンピューティング能力、アルゴリズム、データはすべて、AI に栄養を与える「フィード」です。

最初にコンピューティング能力について話しましょう。

大きなモデルが「大きい」理由は、パラメーターの数とデータの量が多いためです。大規模な AI モデルに必要な計算量は、パラメータ量とデータ量の積にほぼ相当します。

過去 5 年間で、大規模 AI モデルのパラメータ数はほぼ毎年 1 桁増加しており、たとえば、GPT-4 のパラメータ数は GPT-3 の 16 倍です。 、1.6兆に達します。

画像、音声、ビデオなどのマルチモーダル データの導入に伴い、大規模モデルのデータ量も急速に拡大しています。これは、大規模なモデルを操作したい場合は、大きな計算能力が必要であることを意味します。

参考として、一連の大規模垂直モデルのトレーニングと推論のコストは、Qiyuan Wang Sijie などのデジタル人間の脊椎テクノロジーのシナリオにおける同じパラメーター スケールの Open AI のモデルよりも一桁低い可能性があります。世界の戦略ディレクターはかつて次のように述べています: データ フライホイールとモデル トレーニングを適切に組み合わせることができるように、まず小さな垂直モデル (数百億のパラメーター、数十億のパラメーターなど) を構築します。垂直モデルはオープンよりも優れている可能性があります。一部の分野では AI の方が効果的で、コストもかかりません。

垂直型大型モデルのコンピューティング能力要件が一般的な大型モデルのコンピューティング能力要件よりもはるかに低い場合でも、コンピューティング能力インフラストラクチャへの投資が依然として一部の中小企業の参入を妨げるでしょう。

アルゴリズムについて話しましょう。

3要素の中ではアルゴリズム開発の難易度は比較的低く、大規模なモデルを実現するためのパスアルゴリズムは各社独自に用意されており、参考となるオープンソースプロジェクトも多数存在する。ギャップを縮めたり、縮めたりするのが最も簡単です。

最後に、データについて話しましょう。

高品質のデータは、AI のトレーニングと調整を支援する鍵であり、十分で豊富なデータは大規模な AI モデルの基盤です。

OpenAI は以前、AI が人間と同じようにスムーズに会話できるようにするために、開発者が GPT-3.5 に最大 45 TB のテキスト コーパスを提供したことを明らかにしました。これは、中国の「四大古典」の 472 万セットに相当します。これらのコーパス ソースは、Wikipedia、オンライン記事、書籍、雑誌などを含む幅広いソースから取得されており、オープン ソース コード プラットフォーム Github も含まれています。

しかし、細分化された業界に焦点を当てる場合、データを取得するのはそれほど簡単ではありません。

Industrial Securities は、プロフェッショナルな大規模インダストリ モデルをトレーニングするには、高品質の業界データと公開データが重要であると公に述べています。

国内データ市場に関する限り、国家発展改革委員会の公式開示によれば、我が国の政府データリソースは国のデータリソースの4分の3以上を占めていますが、その規模はオープン性は米国の10％にも満たず、個人や企業が利用できる規模は米国の7％にも満たない。

そして、業界データは非常に核となるプライベート ドメイン データであり、プライベート ドメイン データの量が多く、品質が高いほど、その価値は高くなります。

医療企業が豊富な医療データと症例データを持っていれば、医療業界と同様の大規模な垂直モデル製品を開発する能力があります。建設業界のプロジェクト データ、金融業界のユーザー プロファイル データ、海運業界の船舶位置データはすべて、大規模な垂直モデルをサポートする重要なデータ ソースです。

ただし、これらのプライベート ドメイン データはすべて企業自体の所有物であり、データ セキュリティとコンプライアンスのため、ほとんどの機関では大規模なモデルのトレーニングを試す前にローカル展開が必要です。コア データはトレーニングのために他の人に提供されます。

さらに、データに合理的にラベルを付けて注釈を付ける方法も非常に重要です。元の言葉を次のように書き換えます。さまざまなレベルでデータを分類することで製品の効率を向上させることができ、高精度のラベル付きデータは大規模モデルのプロフェッショナルなパフォーマンスをさらに向上させることができます。

ただし、現段階では、垂直産業が高精度のアノテーション データを取得するコストは比較的高く、公共データベースには専門的な業界データが少ないため、大規模な垂直産業の構築には高い要件が課されています。モデル。

一般的に、大規模な垂直モデルを構築したい場合、データの重要性はコンピューティング能力やアルゴリズムをはるかに上回ります。

データは、企業にとって大規模な垂直モデルを突破するための「行き詰まり」となっています。

3. 業界データで一歩先を行く

垂直大規模モデルはアプリケーションとシナリオファーストのロジックを重視し、中国では業界側の価値を重視します。

中国における現在のインテリジェンスの波の下では、産業側のデジタルイノベーションに対する幅広い市場需要が存在する一方、toBエコシステムの下では、垂直アプリケーションに基づいた実践が行われています。データ フライホイール シーン付きフライホイールの形成にも役立ちます。

これらすべての前提は、大型垂直モデルを立ち上げた企業が業界に技術的な障壁と堀、つまり「私が持っているものを誰も持っていない」という競争上の優位性を確立しているということです。

長年にわたって垂直産業に深く関わってきた企業が勝つ可能性が高くなる可能性があるようです。

これらの企業は、データ処理、大規模モデル、ナレッジグラフの分野で豊富な蓄積があり、大規模モデルの最適化において大きな優位性を持っています。同時に、彼らは B までの顧客のニーズと実装シナリオを深く理解しているため、垂直型大型モデル製品の信頼性と信頼性をより確実に確保し、セキュリティ、制御性、コンプライアンスに対する企業レベルのニーズを満たすことができます。

現在、いくつかの大規模な垂直モデルが、金融、教育、医療、マーケティング、その他のシナリオでテストされています。

たとえば、ブルームバーグは独自の豊富な金融データ ソースを使用し、オープンソース GPT-3 フレームワークに基づいて再トレーニングして、金融固有の大規模モデル BloombergGPT を開発します。

NetEase Youdao は教育を重視しています。自社開発の ChatGPT のようなモデル「Ziyue」の開始;

ChatGPT のリリースからわずか数週間後、Google は、特に次のような質問に答えるために設計された大規模な医療言語モデル Med-PaLM を発表しました。ヘルスケア.... ..

より多くの企業が参加するにつれて、垂直分野の大規模モデルがさまざまな業界や部門で広く出現するでしょう。そして、垂直分野に特化して理解し、高品質のデータを使用してモデルを継続的に最適化し、ビジネスのクローズドループを実行し、産業エコシステムを構築できる企業は、最終的にバリューチェーンを十分に長くすることができます。

以上が垂直的な大規模モデルの競争はデータの「行き詰まり点」を打ち破ることができるでしょうか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。