Baidu CTO 王海峰氏: フライング パドル開発者の数は 800 万人に達し、大規模な言語モデルが一般的な人工知能の夜明けをもたらす

北京は、深層学習技術と応用のための国家工学研究センターが主催する2023 WAVE SUMMIT深層学習開発者カンファレンスを開催します

Baidu の最高技術責任者であり、深層学習技術および応用国家工学研究センター所長である王海峰氏は、基調講演で初めて、大規模言語モデルには人工知能の中核となる基本機能があると述べました。理解、生成、論理、記憶を含め、一般的な人工知能が新たな希望をもたらす

800万人の開発者がフライングパドルを使用し、80万以上のモデルが作成されています

2019年4月、ディープラーニング開発者カンファレンス「WAVE SUMMIT」が初開催されました。王海峰氏は会議で、ディープラーニングの多用途性と、工業量産向けの標準化、自動化、モジュール化という特徴を強調し、人工知能を工業量産の段階に押し上げた。 4 年間の開発を経て、ディープラーニング技術とアプリケーションの進歩により、この観点が完全に検証されました。深層学習テクノロジーはますます多用途になり、深層学習プラットフォームの標準化、自動化、およびモジュール機能がますます明らかになってきています。同時に、事前トレーニングされた大規模モデルの台頭により、人工知能アプリケーションの深さと幅がさらに拡大しました。したがって、人工知能は工業的な大量生産の段階に入ったと言えます。

標準化の観点からは、フレームワークとモデルを共同で最適化し、さまざまなハードウェアに均一に適応させてアプリケーション モデルをより簡潔かつ効率的にすることで、人工知能アプリケーションの敷居を大幅に下げます。自動化に関しては、効率を向上させるためのトレーニング、適応、推論展開を含むフルプロセスの人工知能研究開発ソリューションを提供します。モジュール性の観点から、さまざまなシナリオでの人工知能の便利な適用をサポートする豊富な産業レベルのモデル ライブラリを提供します

Fei Paddle 産業レベルの深層学習オープンソース オープン プラットフォームと Wenxin 大型モデルは相互に促進し、Fei Paddle エコロジーを繁栄させ、800 万人の開発者を惹きつけ、22 万の企業や機関にサービスを提供し、Fei Paddle Thousands に基づく 80 製品を作成します。モデルの。王海峰氏は、フライングパドル開発者コミュニティAIスタジオ「銀河コミュニティ」の中国名「文心とフライングパドルが融合し、一緒に銀河へ航海する」という深い意味を説明した。 Feipiao と Wenxin の共同プロモーションにより、私たちはすべての開発者と協力して Galaxy コミュニティを構築し、汎用人工知能の無限の可能性を探求していきます

大規模言語モデルは汎用人工知能に新たな希望をもたらす

王海峰氏は、人工知能にはさまざまな典型的な能力があり、その中には理解、生成、論理、記憶などの中核的な基本能力があると考えています。これら 4 つの能力が強力であればあるほど、人工知能は一般的な人工知能のレベルに近づきます。大規模言語モデルはこれら 4 つの機能を備えており、汎用人工知能の開発に希望をもたらします

具体的には、創造、プログラミング、問題解決、計画などの人工知能の典型的な能力は、理解、生成、論理、記憶などの中核となる基本能力に基づいていますが、その程度は異なります。依存性はさまざまな程度に異なります。問題解決を例に挙げると、問題の理解から問題の解決、そして最終的に答えを書くまで、理解力、記憶力、論理力、発想力を総合的に発揮する必要があります。

これらの能力を取得するにはどうすればよいですか? Wen Xinyiyan を例に挙げると、まず、数兆のデータと数千億の知識を融合学習することによって、事前トレーニング済みの大規模モデルをトレーニングします。次に、教師あり微調整、人間のフィードバックによる強化学習、プロンプトなどの手法を使用して、モデルのパフォーマンスをさらに向上させます。さらに、知識の強化、検索の強化、対話の強化などの技術的な利点もあります。

複数の戦略を通じてデータ ソースとデータ分散を最適化し、長文モデリングの基本モデルを構築し、マルチタイプおよびマルチステージの教師あり微調整とマルチタスク適応型教師あり微調整を実行し、マルチレベルおよび多粒度報酬モデルおよびその他のテクノロジー 基本的な一般機能を革新し、包括的に向上させます。検索と知識の強化に関しては、知識ポイントの強化を通じて世界の知識を習得および適用する能力が向上し、大規模な論理データ構築、論理知識モデリング、多粒度の意味論的知識の組み合わせ、およびシンボリック ニューラル ネットワークを通じて論理能力が向上します。 ; 包括的な安全なデータ、コンテンツ、モデル、システム セキュリティ システムの構築を通じて、大規模モデルのセキュリティを確保します

フライングパドルのエンドツーエンド適応ハイブリッド並列トレーニング技術と、圧縮、推論、サービス展開の協調最適化により、Wenxin 大型モデルのトレーニング速度が 3 倍に向上し、推論速度も向上しました。 30 倍以上向上し、効率が向上します。

データ主導の迅速な構築とプラグイン拡張アプリケーションを通じて、Wen Xin Yi Yan、Baidu Search、Browsing Documents、E Yan Yi Tu、Shuo Tu Jie Hua、Yijing Liuying を含む 5 つのプラグインをリリースしました。これらのプラグインにより、モデルはリアルタイムで正確な情報、長文の要約と Q&A、データの洞察とグラフの作成、画像ベースの作成と Q&A、および Vincent ビデオを生成できるようになります。プラグイン メカニズムを通じて、大規模モデルの機能境界を拡張し、さまざまなシナリオのニーズによりよく適応します。 Wang Haifeng 氏は、将来的には開発者と協力してプラグイン エコシステムを構築し、技術革新の結果を共有する予定であると述べました。

大規模な言語モデルに代表される人工知能は何千もの産業に浸透しており、産業のアップグレードと経済成長を加速しています。このプロセスでは、技術革新とアプリケーションの実装が好循環を形成し、理解、生成、論理、記憶などの能力が向上し続け、産業アプリケーションの幅と深さが拡大し続けています。大規模な言語モデルは、一般社会に新たな希望をもたらします。人工知能。

以上がBaidu CTO 王海峰氏: フライング パドル開発者の数は 800 万人に達し、大規模な言語モデルが一般的な人工知能の夜明けをもたらすの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。