Nvidia、Hugging Face、ServiceNow がコード生成用の新しい StarCoder2 LLM をリリース

モデルは現在 3 つの異なるサイズで利用可能で、低リソース言語を含む 600 以上のプログラミング言語でトレーニングされており、企業の開発ワークフローを支援します。 ServiceNow と Huging Face の共同イニシアチブであるオープン BigCode プロジェクトの下で開発され、オープンで責任ある環境で大規模なコード言語モデルの責任ある開発と使用を確保しており、AI ライセンスに基づいて無料で提供されています。

StarCoder2 の発売は、オープンな科学コラボレーションと責任ある AI 実践と倫理的なデータ サプライ チェーンの組み合わせから得られる大きな力を裏付けています。 ServiceNow の StarCoder2 開発チームの責任者で BigCode の共同リーダーである Harm de Vries 氏は、声明の中で、新しいオープン アクセス モデルは以前の GenAI のパフォーマンスを向上させるだけでなく、開発者の生産性も向上させ、アクセスしやすくすると指摘しました。コード生成 AI の利点により、あらゆる規模の企業がビジネスの可能性を最大限に実現しやすくなります。

StarCoder2: 3 つの異なるニーズに対応する 3 つのモデル

BigCode の最新製品は、StarCoder LLM への単なるアップグレードではなく、異なるサイズの 3 つのモデル ( 3B、7B、15B ) を導入し、サポートされているプログラミング言語は 619 までです。新世代の製品では、スタックと呼ばれるモデルの学習データ量が前世代に比べて7倍近く増加しました。これは、BigCode が常に進化し、さまざまなプログラミング タスクを成功させるための、より強力で包括的なツールとリソースを開発者に提供することを意味します。この革新的な精神と継続的な改善の姿勢により、BigCode は開発者が信頼し依存するプラットフォームとして選ばれ、開発者に幅広い学習と応用の機会を提供しています。 BigCode の開発は、テクノロジーとプログラミングの分野への継続的な投資と焦点を示しており、業界全体に新たな可能性と機会をもたらしています。

BigCode コミュニティは、最新世代のトレーニング テクノロジを使用して、モデルが COBOL、数学、プログラム ソース コードなどの低リソース プログラミング言語を理解し、生成できるようにします。このアプローチは、ユーザーが多様なプログラミング言語とコードの議論をよりよく理解できるようにするために重要です。

30 億パラメータ モデルは ServiceNow の Fast LLM フレームワークを使用してトレーニングされ、7B モデルは Hugging Face の Nantron フレームワークに基づいて開発されました。どちらのモデルも、必要なコンピューティング リソースを削減しながら、テキストからコードへの生成およびテキストからワークフローへの生成に高いパフォーマンスを提供するように設計されています。

同時に、最大の 150 億パラメータ モデルが、エンドツーエンドの NVIDIA Nemo クラウドネイティブ フレームワークと NVIDIA TensorRT-LLM ソフトウェアを使用してトレーニングされ、最適化されました。

これらのモデルがさまざまなエンコード シナリオでどのように動作するかはまだわかりませんが、両社は、最小の 3B モデルがオリジナルの 15B StarCoder LLM と同等の動作をすることに注目しています。

エンタープライズ チームは、ニーズに応じて、これらのモデルのいずれかを使用し、さまざまなユース ケースのエンタープライズ データに基づいてモデルをさらに微調整できます。これは、アプリケーション ソース コードの生成、ワークフローの生成、およびテキストの要約からコード補完、高度なコードの要約、コード スニペットの取得まで。

両社は、これらのモデルがより広範かつ深くトレーニングされ、よりコンテキストを認識した正確な予測を提供することを強調しました。この高度にトレーニングされたモデルは、リポジトリのコンテキストをよりよく理解できます。最終的に、これらの取り組みは開発作業を加速する道を切り開き、エンジニアや開発者がより重要なタスクにより多くのエネルギーを集中できるようになります。

Nvidia の応用研究担当副社長である Jonathan Cohen 氏はプレス声明で次のように述べています。「すべてのソフトウェア エコシステムには独自のプログラミング言語があるため、Code LLM はあらゆる業界で効率とイノベーションのブレークスルーを推進できます。」

「NVIDIA と ServiceNow および Huging Face とのコラボレーションは、安全で責任ある開発モデルを導入し、責任ある GenAI への幅広いアクセスをサポートします。これが世界中の社会に利益をもたらすことを期待しています。」と彼は付け加えました。

StarCoder2 の使用を開始するにはどうすればよいですか?

前述したように、StarCoder2 シリーズのすべてのモデルは Open Rail-M ライセンスの下で提供されており、ロイヤリティフリーでアクセスして使用できます。サポート コードは、BigCode プロジェクトの GitHub リポジトリにあります。代わりに、チームは Hugging Face の 3 つのモデルすべてをダウンロードして使用することもできます。

とはいえ、NVIDIA によってトレーニングされた 15B モデルは NVIDIA AI Foundation にも表示され、開発者がブラウザーまたは API エンドポイントを通じて直接実験できるようになります。

StarCoder は AI 主導のコード生成の分野に初めて参入したわけではありませんが、最新世代のプロジェクトがもたらす幅広いオプションにより、企業は確実にアプリケーション開発で LLMS を活用しながらコストを節約できるようになります。計算。

この分野における他の注目すべきプレーヤーとしては、GitHub 共同パイロット サービスを強化する Codex を提供する OpenAI、CodeWhisper ツールを提供する Amazon が挙げられます。また、Replit および Codenium との熾烈な競争もあり、Replit は Hugging で活躍しています。 Face 市場には小規模な AI コーディング モデルがいくつかあり、Codenium は最近シリーズ B 資金調達で 5 億ドルの評価額で 6,500 万ドルを調達しました。

以上がNvidia、Hugging Face、ServiceNow がコード生成用の新しい StarCoder2 LLM をリリースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。