ホームページ > 記事 > テクノロジー周辺機器 > 最小限の計算リソースとメモリ リソースで実行できる小型 Llama 大規模モデル
現在の情報爆発の時代において、言語モデルのトレーニングはますます複雑かつ困難になっています。効率的な言語モデルをトレーニングするには、多くのコンピューティング リソースと時間が必要ですが、これは多くの人にとって現実的ではありません。同時に、特にエッジデバイス上で、限られたメモリとコンピューティングリソースの下で大規模な言語モデルをどのように適用するかという課題にも直面しています。
今日は、GitHub オープン ソース プロジェクト jzhang38/TinyLlama をお勧めしたいと思います。このプロジェクトには、GitHub 上で 4.3,000 個以上のスターが付いています。このプロジェクトを一言で紹介すると、次のようになります。 TinyLlama プロジェクトは、3 兆のトークンで 11 億の Llama モデルを事前トレーニングするオープンな取り組みです。」
TinyLlama の目標は、3 兆のトークンで 1.10 億の Llama モデルを事前トレーニングすることです。適切に最適化すれば、16 個の A100-40G GPU を使用して、わずか 90 日でこれを達成できます。このプロジェクトは、Llama 2 とまったく同じアーキテクチャとトークナイザーを使用しています。つまり、TinyLlama は、多くの Llama ベースのオープンソース プロジェクトに簡単に埋め込んで使用できます。さらに、TinyLlama は非常にコンパクトで、パラメーターは 1.1B のみです。このコンパクトさにより、限られたコンピューティングとメモリのフットプリントを必要とする多くのアプリケーション シナリオに適しています。
モデルを直接ダウンロードして使用することも、またはハグフェイスを通じてデモを使用してください。
プロジェクト プロモーション
オープンソース プロジェクトのアドレス: https://github.com/jzhang38/TinyLlama
オープンソース プロジェクトの作成者: jzhang38
プロジェクト構築に携わるメンバーは次のとおりです:
以上が最小限の計算リソースとメモリ リソースで実行できる小型 Llama 大規模モデルの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。