ホームページ  >  記事  >  テクノロジー周辺機器  >  効果はOpanAI同等モデルの96%に達し、国産オープンソースAI言語モデルTigerBotをリリース

効果はOpanAI同等モデルの96%に達し、国産オープンソースAI言語モデルTigerBotをリリース

WBOY
WBOY転載
2023-06-10 13:35:101078ブラウズ

6 月 8 日のニュースによると、国内のマルチモーダル大規模言語モデル TigerBot が最近正式にリリースされ、70 億パラメータと 1,800 億パラメータの 2 つのバージョンが含まれ、現在 GitHub でオープンソースになっています。

效果可达 OpanAI 同等模型 96%,国产开源 AI 语言模型 TigerBot 发布

▲ 画像ソース TigerBot の GitHub ページ

TigerBot によってもたらされたイノベーションは主に次の点にあると報告されています:

  • 提案教師あり微調整のための革新的なアルゴリズムにより、モデルの学習可能性が向上します。
  • アンサンブルおよび確率的モデリング手法を使用して、制御可能な事実と創造性を実現します。
  • ディープスピードの並列トレーニングなどの主流のフレームワークにおけるメモリと通信の問題を解決します。

さらに、このモデルは、中国語のより不規則な分布に合わせて、トークナイザーからトレーニング アルゴリズムまで、より適切な最適化も行います。

研究者のChen Ye氏は、Hubo Technologyの公式Webサイトで次のように述べています。「このモデルは、少数のパラメーターのみを使用して、人間がどのような種類の質問をしたのかを迅速に理解できます。公開NLPデータに関するOpenAI InstructGPT論文によると」自動評価によると、TigerBot-7B は、同じサイズの OpenAI モデルの総合パフォーマンスの 96% に達しました。"

效果可达 OpanAI 同等模型 96%,国产开源 AI 语言模型 TigerBot 发布

▲ 画像ソース TigerBot の GitHub ページ

によると レポートによると、TigerBot-7B ベースのパフォーマンスは「OpenAI の同等モデルよりも優れています。」オープン ソース コードには、基本的なトレーニング コードと推論コード、およびデュアルの定量化コードと推論コードが含まれています。 -カード推論180Bモデル。データには、100G の事前トレーニング データと、教師付き微調整用の 1G または 100 万個のデータが含まれます。

IT House の友人は、ここで GitHub のオープンソース プロジェクトを見つけることができます。

以上が効果はOpanAI同等モデルの96%に達し、国産オープンソースAI言語モデルTigerBotをリリースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明:
この記事は51cto.comで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。