Microsoft、多くの大規模な言語モデルを上回る 27 億パラメータの Phi-2 モデルをデビュー

Microsoft は、Phi-2 と呼ばれる人工知能モデルをリリースしました。これは、25 倍の大きさの、より大型で成熟したモデルと同等またはそれを超えるパフォーマンスを持つ、並外れた能力を実証しました。

最近 Microsoft はブログ投稿で、Phi-2 は 27 億のパラメータを持つ言語モデルであると発表しました。他の基本モデルと比較して、Phi-2 は、特に複雑なベンチマーク テストで高度なパフォーマンスを示します。これらのテストは推論を評価します。 、言語理解、数学、コーディング、および一般知識スキル。現在、Phi-2 は Microsoft Azure Artificial Intelligence Studio のモデル カタログを通じてリリースされており、研究者や開発者は Phi-2 をサードパーティ アプリケーションに統合できます。

Phi-2 は Microsoft CEO Satya Nadella によって最初に発表されました11月のIgniteカンファレンスで発表した。この製品のパワーは、Microsoft が「教科書品質」と呼ぶ、知識を目的として構築されたデータから生まれており、他のモデルからの洞察テクノロジーも活用しています

Phi-2 のユニークな点は、以前は、大規模な言語モデルは、多くの場合、そのパラメーター スケールと密接に関連していました。一般に、パラメーターが多いモデルは、より強力な機能を意味します。しかし、Phi-2 の登場により、この従来の概念は変わり、Microsoft は、Phi-2 がいくつかのベンチマーク テストで、より大きな基本モデルに匹敵する、あるいはそれを上回る能力を実証したと述べています。これらのベンチマークには、Mistral AI の 70 億パラメータの Mistral、Meta Platforms の 130 億パラメータの Llama 2、さらに一部のベンチマークでは 700 億パラメータの Llama-2 を超えたものが含まれます。

驚きの議論は、Google の Gemini よりも優れているということかもしれません。先週発売されたGeminiシリーズの中で最も高性能なモデル、Nano。 Gemini Nano はオンデバイス タスク向けに設計されており、スマートフォン上で実行でき、テキストの要約、高度な校正、文法修正、状況に応じたスマートな返信などの機能を有効にします。

マイクロソフトの研究者によると、Phi-2 には広範囲にわたるテストが含まれています言語理解、推論、数学、コーディングの課題などが含まれます。

同社は、Phi-2 が推論、知識、常識を教えるために厳選された教科書レベルのデータを使用してトレーニングされているため、このような優れた結果を達成していると述べています。少ない情報からより多くのことを学びます。 Microsoft の研究者は、より小さなモデルから知識を取得できる技術も使用しました。

研究者らは、強化学習や人間のフィードバックに基づく指導の微調整などの技術を使用しなくても、Phi-2 が依然として強力なパフォーマンスを達成できることは注目に値すると指摘しました。これらの手法は、人工知能モデルの動作を改善するためによく使用されます。これらの技術を使用していないにもかかわらず、Phi-2 は、使用している他のオープンソース モデルと比較して、偏見や有害なコンテンツを削減する点で優れたパフォーマンスを発揮します。同社は、これは最新バージョンのデータ照合におけるカスタマイズ作業の役割によるものであると考えています。シリーズの最初のモデルで今年初めにリリースされた Phi-1 には 13 億のパラメータがあり、基本的な Python コーディング タスク向けに微調整されています。今年 9 月、Microsoft は、13 億のパラメーターを備え、自然言語プログラミングで生成されたさまざまな合成テキストを含む新しいデータ ソースを使用してトレーニングされたモデルである Phi-1.5 を発表しました。

Microsoft は、Phi-2 の高効率により、これは、研究者が人工知能の安全性、解釈可能性、言語モデルの倫理的開発の強化などの分野を探索するための理想的なプラットフォームです。

以上がMicrosoft、多くの大規模な言語モデルを上回る 27 億パラメータの Phi-2 モデルをデビューの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。