70 億パラメータの StableLM 大規模言語モデルの安定拡散の瞬間をオンラインで体験してください

言語モデルの大規模な戦いにおいて、安定性 AI も終焉を迎えました。

最近、Stability AI は、最初の大規模言語モデルである StableLM のリリースを発表しました。重要: これはオープンソースであり、GitHub で入手できます。

モデルは 3B および 7B パラメーターで始まり、15B から 65B までのバージョンが続きます。

さらに、Stability AI は研究用に RLHF 微調整モデルもリリースしました。

プロジェクトアドレス: https://github.com/Stability-AI/StableLM/

OpenAI はオープンではありませんが、オープンソース コミュニティはすでに開花しています。以前は Open Assistant と Dolly 2.0 がありましたが、現在は StableLM があります。

実際のテスト体験

今度は、Hugging Face で StableLM の微調整されたチャット モデルのデモを試すことができます。

#StableLM がどこまでそれを達成できるかが一目でわかります。

たとえば、ピーナッツバターサンドイッチの作り方を尋ねると、複雑で少しばかばかしいレシピを教えてくれます。

あるいは、ニューラル ネットワークとシンボリック人工知能の間の壮大なラップ対決を書いてください:

もう一度 または、次のように書いてください。 「縁起の良いメール」 (テキスト生成):

#そして、C 言語を使用して人生の意味を計算します (コード生成):

# しかし、ある外国メディアの記者が個人的に StableLM をテストしたところ、その前身である ChatGPT と比較して、くだらないことを真剣に話すことができることがわかりました。過度に。

たとえば、2021 年 1 月 6 日に何が起こったかを尋ねるとします。それは、トランプ支持者が議会を支配しているということを教えてくれるだろう。

Stable LM の主な用途がテキスト生成ではない場合、何ができるでしょうか?

この質問を自分で行うと、次のような答えが返されます。「主にシステム エンジニアリングとアーキテクチャの意思決定支援システムとして使用され、統計分析にも使用できます。

さらに、Stable LM には明らかに特定の機密コンテンツの保護が欠けています。たとえば、有名な「ヒトラーを称賛してはいけない」というテストをしてみると、その答えもまた驚くべきものだ。

ただし、急いでこれを「史上最悪の言語モデル」と呼ぶつもりはありません。結局のところ、これはオープンソースなので、これはブラック ボックス AI を使用すると、誰でもボックスの中を覗いて、問題を引き起こしている潜在的な原因を確認できます。

StableLM

Stability AI は公式に主張しています: StableLM のアルファ版には 30 億と 70 億のパラメータがあり、150 億から 650 億のパラメータを持つ後続のバージョンが存在する予定です。

StabilityAI は、開発者が望むように使用できるとも大胆に述べました。関連する条項を遵守している限り、基本モデルの検査、適用、適応など、好きなことを行うことができます。

StableLM は強力で、テキストとコードを生成できるだけでなく、ダウンストリーム アプリケーションに技術的基盤を提供することもできます。これは、適切なトレーニングによって、小さく効率的なモデルが十分に高いパフォーマンスを達成できることを示す良い例です。

初期の段階では、Stability AI と非営利研究センター Eleuther AI は初期の言語モデルを共同開発しました。深い蓄積があります。

GPT-J、GPT-NeoX、Pythia と同様、これらは 2 社間の協力トレーニングの成果物であり、The Pile オープンソース データセットでトレーニングされています。

Cerebras-GPT や Dolly-2 など、その後のオープン ソース モデルはすべて、上記 3 兄弟の後継製品です。

StableLM に戻ると、The Pile に基づいた新しいデータ セットでトレーニングされました。このデータ セットには、The Pile の約 3 倍である 1.5 兆個のトークンが含まれています。モデルのコンテキストの長さは 4096 トークンです。

今後の技術レポートで、Stability AI はモデルのサイズとトレーニング設定を発表します。

概念実証として、チームはスタンフォード大学の Alpaca を使用してモデルを微調整し、最近の 5 つの会話エージェントのデータセットを使用しました。組み合わせ: スタンフォード大学の Alpaca、Nomic-AI の gpt4all、RyokoAI の ShareGPT52K データセット、Databricks labs の Dolly、および Anthropic の HH。

これらのモデルは、StableLM-Tuned-Alpha としてリリースされます。もちろん、これらの微調整されたモデルは研究目的のみに使用されており、非商用です。

今後、Stability AI は新しいデータセットの詳細も発表する予定です。

その中で、新しいデータセットは非常に豊富であるため、StableLM のパフォーマンスは優れています。現時点ではパラメーターの規模はまだ少し小さいですが (GPT-3 の 1,750 億パラメーターと比較して)。

安定性 AI は、言語モデルがデジタル時代の中核であると述べており、誰もが言語モデルについて発言できることを望んでいます。

そして、StableLM の透明性。アクセシビリティやサポートなどの機能もこの概念を実装しています。

• StableLM の透明性:

透明性を実現する最良の方法は、オープンソースであることです。開発者はモデルの奥深くまで入ってパフォーマンスを検証し、リスクを特定し、保護措置を共同で開発できます。必要な企業や部門は、自社のニーズに合わせてモデルを調整することもできます。

• StableLM のアクセシビリティ:

毎日のユーザーはいつでも、どこでもローカル デバイスでモデルを実行できます。開発者はモデルを適用して、ハードウェア互換のスタンドアロン アプリケーションを作成および使用できます。このようにして、AI によってもたらされる経済的利益は数社に分配されることはなく、その配当はすべての日常ユーザーと開発者コミュニティに帰属します。

これは、クローズド モデルではできないことです。

• StableLM サポート:

Stability AI は、ユーザーを置き換えるのではなく、サポートするモデルを構築します。つまり、人々がより効率的に仕事を処理し、人々の創造性や生産性を高めるために、便利で使いやすいAIが開発されているのです。すべてを置き換える無敵のものを開発しようとするのではなく。

Stability AI は、これらのモデルは GitHub で公開されており、完全な技術レポートは将来リリースされる予定であると述べています。

Stability AI は、幅広い開発者や研究者とのコラボレーションを楽しみにしています。同時に、クラウドソーシングのRLHF計画を開始し、アシスタントの協力をオープンにし、AIアシスタント用のオープンソースデータセットを作成するとも述べた。

オープンソースの先駆者の 1 つ

Stability AI という名前は、すでに私たちによく知られています。有名な画像生成モデル Stable Diffusion を開発した会社です。

StableLM のリリースにより、Stability AI は AI を利用してすべての人に利益をもたらす道をさらに前進していると言えます。 。結局のところ、オープンソースは常に彼らの素晴らしい伝統であり続けています。

2022 年、Stability AI は、公開デモ、ソフトウェアのベータ版、モデルの完全なダウンロードなど、誰もが Stable Diffusion を使用できるさまざまな方法を提供します。開発者はモデルを自由に使用できます。 . さまざまな統合。

Stable Diffusion は、革新的な画像モデルとして、独自の AI に代わる、透明でオープンかつスケーラブルな代替手段を表します。

安定した拡散により、誰もがオープンソースのさまざまな利点を理解できるようになります。もちろん、避けられないデメリットもいくつかありますが、これは間違いなく意味のある歴史的な結節点です。

(先月、Meta のオープンソース モデル LLaMA の「壮大な」漏洩により、一連の驚くべき ChatGPT の「置き換え」が行われました。アルパカの家族は宇宙のようなものです。誕生は爆発のようなものです。 : アルパカ、ビキューナ、コアラ、ChatLLaMA、FreedomGPT、ColossalChat...)

ただし、Stability AI は、使用するデータセットは「基本的な言語モデルのガイド」に役立つはずであるとも警告しました。より安全なテキスト配布ですが、微調整によってすべての偏見や有害性を軽減できるわけではありません。」

論争: オープンソースにするべきか?

最近、私たちはオープンソースのテキスト生成モデルの爆発的な増加を目の当たりにしており、大小の企業がますます儲かる生成 AI の分野では、早めに有名になったほうが良いことに気づきました。

過去 1 年にわたって、Meta、Nvidia、そして Hugging Face-backed BigScience プロジェクトなどの独立グループは、GPT-4 や Anthropic の Claude の代替品に似た「プライベート」API モデルをリリースしてきました。

StableLM に似たこれらのオープンソース モデルは、犯罪者がフィッシングメールの作成やマルウェアの支援などの下心で使用する可能性があるため、多くの研究者が厳しく批判しています。

しかし、Stability AI は、オープンソースが最も正しい方法であると主張します。

Stability AI は、「透明性を高め、信頼を育むためにモデルをオープンソースにしています。研究者はこれらのモデルを深く理解し、検証することができます」と強調しました。 "

"当社のモデルへのオープンできめ細かいアクセスにより、幅広い研究や学術活動が可能になります。クローズドモデルを超えた説明可能性とセキュリティ技術を開発しています。」

安定性 AI の声明は確かに理にかなっています。フィルターと人間による審査チームを備えた業界トップモデルの GPT-4 でさえ、毒性を免れることはできません。

そして、オープン ソース モデルでは、特に開発者が最新の更新に追いついていない場合、バックエンドの調整と修正により多くの労力が必要になることは明らかです。

実際、歴史を振り返ると、安定性 AI は論争を避けてきませんでした。

# 少し前、同社は侵害訴訟の最前線に立っていましたが、インターネットから収集した著作権で保護された画像を使用していると非難する人もいました。 AI 描画の開発、何百万人ものアーティストの権利を侵害するツール。

さらに、不純な動機を持つ一部の人々が、Stability の AI ツールを使用して、多くの有名人のディープフェイク ポルノ画像や暴力的な画像を生成しました。

Stability AI はブログ投稿でその慈善的な雰囲気を強調しましたが、Stability AI はアート、アニメーション、生物医学、または生成されたオーディオの分野であっても、商業化のプレッシャーにも直面しています。

Stability AI の CEO、Emad Mostaque 氏は、株式公開の計画をほのめかしました。Stability AI は昨年、10 億ドル以上の価値があり、これまでに 10 億ドル以上の資金を調達しました。 10億ドルのベンチャーキャピタル。しかし、海外メディアSemaforによると、安定性AIは「お金を燃やしているが、お金を稼ぐことはゆっくりと進んでいる」という。

以上が70 億パラメータの StableLM 大規模言語モデルの安定拡散の瞬間をオンラインで体験してくださいの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。