速報: OpenAI が新しいモデルをオープンソース化しようとしています!オープンソース コミュニティの繁栄は、大企業の「慈善活動」に完全に依存しているのでしょうか?

ちょうど今、The Information の最新ニュースによると、OpenAI は新しいオープンソースの大規模言語モデルをリリースしようとしています。

OpenAI が今後のオープン ソース モデルを使用して Vicuna または他のオープン ソース モデルの市場シェアを獲得するつもりかどうかは不明ですが。

しかし、新しいモデルの機能が GPT-4 や GPT-3.5 と競合できない可能性が高いことはほぼ確実です。

結局のところ、GPT の最初の 2 つのバージョンはオープンソースですが、270 億ドルの評価により、OpenAI の最も先進的なモデルが商業目的で使用されることも決まりました。

OpenAIの広報担当者はコメントの要請に応じなかった。

Alpaca ファミリーのオープンソース爆発

10 日前、Google の内部文書が流出しました。 「私たちには堀はないし、OpenAI にもない」というタイトルのこの記事で、著者はオープンソースが Google と OpenAI に与えた大きな打撃を嘆いています。

実際、Google も OpenAI もこの軍拡競争の勝者ではないようです。オープンソース コミュニティがその「利益」を食いつぶしているからです。彼らに属します。

ChatGPT は世界的な LLM 革命を引き起こしました。しかし、OpenAI はオープンではなく、多くの企業や開発者はただ見守ることしかできません。

この時点で、Meta は一歩進んで LLaMA をリリースし、世界中の開発者にメリットをもたらしました。

当初、Meta は LLaMA を非営利研究用途向けにオープンソースにすることを約束していましたが、リリースからわずか 1 週間で LLaMA の重量が突然漏洩するとは誰が想像したでしょうか。 4chan で、即座に何千ものダウンロードが行われました。

この「壮大なリーク」は、オープンソース LLM の分野を直接変えました。わずか数週間で、さまざまな ChatGPT の代替品が電光石火の速さで爆発的に登場しました。

Alpaca、Vicuna、Koala、ChatLLaMA、FreedomGPT、ColossalChat...「アルパカファミリー」の爆発とも言えるでしょう。

実際、Yangtuo のずっと前に、オープンソース モデルは OpenAI の野望を打ち砕いていました。

当時、新しくリリースされた Dall-E 2 は、その見事な Vincentian グラフィック効果でインターネット上で大きな話題を呼びました。

しかし、OpenAI がまだ API を販売しようとしていたとき、オープンソースの代替手段である Stable Diffusion が突然現れました。

Stable Diffusion の急速な台頭により、Dall-E 2 はすぐに開発者から忘れ去られてしまいました。

オープンソースのビッグモデル、シリコンバレーの大企業を転覆させることになるのでしょうか?

カリフォルニア大学バークレー校のコンピューター教授イオン ストイカは、メタの研究を利用してビクーニャを開発した学者の 1 人です。

Vicuna の機能を向上させるために、Stoica 氏と同僚は、コードの作成などの推論を伴うタスクに役立つモデル内の計算数を増やすことに取り組んでいます。

Vicuna はバークレーのチームによって数百万ドルの年間予算をかけて開発されましたが、そのうち約 50 万ドルは Microsoft、Google、Amazon などの上場企業からの資金提供を受けています。

カリフォルニア大学バークレー校のコンピューターサイエンス教授であるイオン・ストイカ氏は、現在の無料の AI モデルのパフォーマンスは Google や OpenAI の独自モデルに「かなり近い」ものであり、ほとんどの開発者が最終的には無料のものを選択します。

一方で、オープンソース モデルでは、開発者が独自のデータを使用して特定の問題を解決できます。

一方、Vicuna のようなモデルのトレーニング コストは数百ドル程度で済み、大手メーカーに高額な使用料を支払う必要はありません。

##https://www.php.cn/link/4d8bd3f7351f4fee76ba17594f070ddd Stoica の指摘が正しければ、オープンソース AI は、独自モデルの使用権を販売する Google、OpenAI、Microsoft などの大手企業のビジネス計画を確実に覆すでしょう。

Vicuna の品質とオープンソース AI のカンブリア紀の爆発的な影響により、Google エンジニアの Luke Sernau は、Google が OpenAI に追いつくためにプロプライエタリなソフトウェアに重点を置きすぎていると同僚に警告しました。

無料で高品質な代替品に使用制限がない場合、制限付きの Google サービスを使用するために誰がお金を払うでしょうか。オープンソース AI は私たちを追い越しており、Google はオープンソース コミュニティでリーダーシップを確立し、私たちのモデルのコントロールを一部手放すべきです。

このメモはすぐに業界全体に反響を呼びました。たとえセルナウ氏がオープンソース AI の機能を過大評価し、そのコストとリスクを過小評価していたとしても、ほとんどの実務家はメタには大きな可能性があることに同意しています。この恩恵を受けるには。

たとえば、Meta は、コンテンツの推奨や広告の配置に AI モデルを内部で使用しています。開発者が Meta のモデルを改善すると、Meta はこれらの改善を独自の内部 AI に組み込むことができます。

Meta CEO の Xiao Zha は、長い間これを計画してきました。

4 月のアナリストとの電話会議で、同氏は会社の戦略について次のように述べました。業界は、私たちが使用する基本的なツールを標準化できるため、他の企業の改善から恩恵を受けることができます。

#Google は、AI ソフトウェアに対して完全に独自のアプローチを採用しているわけではありません。

2020 年に Google は、開発者が翻訳や要約タスクを実行できるソフトウェアを構築できるオープンソース言語モデルである T5 をリリースしました。その後、Google はより高度な Flan-T5 をリリースしました。

しかし、Stoica や他の専門家によると、Meta がリリースしたソフトウェアは Google のモデルを大幅に改善できるため、開発者が選択する可能性が高くなります。メタモデルが大幅に増加しました。

しかし、Stoica氏は、Googleにはオープンソースソフトウェアにおいて依然として2つの利点があると述べた。

1. Google が外部に公開されていないユーザー データを活用する場合、モデルは特定の特殊な領域 (コンテンツの推奨など) でより良いパフォーマンスを発揮する可能性があります。

しかし、Googleの広報担当者は、同社は既存のユーザーデータに基づいて基本モデルをトレーニングしていないと述べた。

2. この検索会社は、大規模なコンピューター インフラストラクチャの管理に関する専門知識を備えているため、クラウド顧客向けを含め、より低コストでモデルを実行できます。

同時に、OpenAI は、何百万人もの人々が ChatGPT とどのようにやり取りするかに関するデータの収集においてすでに有利なスタートを切っており、Microsoft プロトコルとの協力はもちろん、OpenAI が AI ソフトウェアを改善するのにさらに役立ちます。

オープンソースの隆盛は大手メーカーによる「慈善活動」なのでしょうか？

しかし、オープンソースに基づくこの種の繁栄は不安定です。

現在のオープンソースのほとんどは、依然として潤沢な資金を持つ大企業がリリースした巨大なモデルに依存しています。 OpenAI と Meta が運営の停止を決定した場合、繁栄していたオープンソース コミュニティは低迷する可能性があります。

#たとえば、多くのオープン ソースの代替案は現在、Meta の LLaMA に基づいて構築されています。

他のモデルは、オープンソースの非営利団体 EleutherAI によってコンパイルされた、Pile と呼ばれる大規模な公開データセットを使用します。

EleutherAI が存在するのは、OpenAI のオープン性により、開発者のグループが GPT-3 の作成方法をリバース エンジニアリングし、自由な時間に独自のモデルを作成できるためです。

#しかし、すべては変わる可能性があります。

OpenAI はもはやオープンではありません。Meta はスタートアップ企業がオープンソース コードを使用して悪いことをするのを防ぐために、オープンソースを制限することも検討しています。

Meta AI のエグゼクティブ ディレクターである Joelle Pineau 氏は、コードを部外者に公開することは現時点で正しいことであるが、Meta が今後も同じ戦略を採用するかどうかは分からないと述べました。次の5年。

この閉鎖傾向が続けば、オープンソース コミュニティは見捨てられるだけでなく、次世代の AI のブレークスルーも最大かつ最も安価な AI 研究所に戻ってくるでしょう。 。

AI の大規模モデルの製造方法と使用方法の将来は、明らかに岐路に立っています。

もし OpenAI がケチだったら、今日のオープンソース イベントはなかったでしょう。

他の企業も参加しています。この種のオープンソースの自由な競争は、より大きな利益をもたらします。またはリスクはより大きくなります。

Meta AI が LLaMA をリリースしたのと同時に、Hugging Face はアクセス制御メカニズムを開始しました。プラットフォームにモデルをダウンロードする前に、ユーザーはアクセスを申請し、承認を得る必要があります。これは制限するためです。正当な理由のある者。

# 「私はオープンソースの伝道者ではありません」とハギング・フェイス社の主任倫理科学者マーガレット・ミッチェル氏は言う。 「オープンソースでない意味がわかります。」

大規模なモデルの普及の欠点の 1 つは、AI ポルノ製品の急増につながる可能性があることです。

ミッチェルはかつて Google で働いており、AI 倫理チームを設立しており、モデルの悪用のリスクをよく認識しています。したがって、彼女はメタ AI が制御された方法でモデルをリリースすることを好みます。

同時に、OpenAI も蛇口を閉めています。 GPT-4がリリースされたとき、アーキテクチャ（モデルサイズを含む）、ハードウェア、トレーニング計算、データセット構築、トレーニング方法などの詳細は発表されませんでした。その理由は、「競争環境と大規模なセキュリティへの影響を考慮して」でした。 GPT-4のようなスケールモデル。」

この制限は、OpenAI の考え方の変化を反映しています。共同創設者で主席科学者のイリヤ・サツケヴァー氏は、OpenAIのこれまでのオープン性は間違いだったと述べた。

OpenAI の政策研究者である Sandhini Agarwal 氏は、次のように述べています。ソースは実際に開発を加速し、競争につながる可能性があります。」

3 年前に遡って、OpenAI が GPT-3 の詳細を発表したときに同じ原則に従っていたとしたら、EleutherAI の出現はなく、活発なオープンソース イノベーションも存在しなかったでしょう。

現在、EleutherAI はオープンソース エコシステムにおいて極めて重要な役割を果たしています。 Pile は、Stability AI の StableLM を含む複数のオープンソース プロジェクトをトレーニングするために使用されます。

しかし、GPT-4、5、および 6 がロックされたことで、オープンソース コミュニティは再びいくつかの大企業に取り残される可能性があります。

彼らは前世代のモデルに囚われることになり、進歩したければ密室で行うしかありません。

以上が速報: OpenAI が新しいモデルをオープンソース化しようとしています!オープンソース コミュニティの繁栄は、大企業の「慈善活動」に完全に依存しているのでしょうか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。