Sam Altman 氏が OpenAI について語る: GPU 不足のパニックに直面し、GPT-3 はオープンソースになる可能性がある

ChatGPT の登場以来、大規模モデルと AI テクノロジーが世界中で幅広い注目を集めています。人々は一方で、大型モデルの新たな機能に驚嘆していますが、他方では、人工知能の制御性と将来の発展について懸念しています。今年、チューリング賞受賞者のジェフリー・ヒントン氏やヨシュア・ベンジオ氏を含むAI分野の多くの専門家が共同で、大規模なAIモデルは一連のリスクを引き起こすと警告しており、その後に続く大規模なAIモデルの開発の中止を求める人もいる。 GPT-4 の AI モデル。

OpenAI は、ChatGPT や GPT-4 などの大規模モデルを支える企業として、間違いなく最前線に押し上げられています。 OpenAI CEOのサム・アルトマン氏は現在、人工知能に対する人々の「恐怖」を払拭し、OpenAI製品の開発者やユーザーの意見に耳を傾けるため、世界各地で講演ツアーを行っている。

「Fortune」レポートによると、5月にサム・アルトマン氏は数人の開発者やスタートアップ創設者らと密室で会談し、 OpenAIのロードマップと課題について語った。この非公開会議の参加者の一人であるヒューマンループの共同創設者兼 CEO であるラザ・ハビブ氏は、最近ブログで OpenAI の製品計画と開発のボトルネックについて言及しました。

元のブログは削除されましたが、一部のネチズンがブログのスナップショット (コピー) をアップロードしました。ブログの具体的な内容を見てみましょう:

OpenAI が現在直面している最大の問題は、GPU による制限であることです

現在、OpenAI は非常に厳しい GPU 制限に直面しており、そのため短期計画の一部の実装も遅れています。最近の顧客からの最も一般的な苦情は、API の信頼性と速度に関するものです。 Sam は問題を認め、顧客から苦情が寄せられた問題のほとんどは GPU 不足によるものだと説明しました。

テキストの処理に関しては、より長い 32,000 コンテキストをまだ多くの人が利用できません。現在、OpenAI はアテンション メカニズムの O (n^2) 展開問題を完全には克服していません。OpenAI は間もなく 100k-1M トークン コンテキスト ウィンドウ (年内に) のテキスト処理を達成できるようですが、より大きなテキスト処理ウィンドウにはさらなる進歩が必要です. 研究の画期的な進歩。

それだけでなく、現在、微調整 API も GPU の供給によって制限されています。 OpenAI は、Adapter や LoRa のような効率的な微調整方法をまだ使用していないため、微調整の実行と管理には非常に多くの計算量がかかります。 Sam 氏は、将来的にはより優れた微調整テクノロジーが導入され、研究モデル専用のコミュニティも提供される可能性があることを明らかにしました。

さらに、専用容量のプロビジョニングは GPU の供給によって制限されます。 OpenAI は専用の容量も提供し、顧客にモデルのプライベート コピーを提供します。このサービスを利用するには、顧客は前払いで 100,000 ドルを支払う必要があります。

OpenAI の短期ロードマップ

会話中、Sam は OpenAI API の短期ロードマップを共有しました。これは主に 2 つの段階に分かれています。

2023 年への道:

• #OpenAI の最優先事項は、より安価で高速な GPT-4 を発売することです — 全体として、OpenAI の目標はコストを削減することです可能な限りインテリジェンスの向上を図るため、API のコストは時間の経過とともに減少します。
• コンテキスト ウィンドウの延長 - 近い将来、コンテキスト ウィンドウは 100 万トークンに達する可能性があります。
• Nudge API - Nudge API は最新モデルに拡張されますが、その正確な形式は開発者によって決定されます。
• ステータス API - チャット API を呼び出すときは、同じセッション履歴を何度も調べて、同じトークンを何度も支払う必要があります。 API の将来のバージョンでは、セッション履歴を記憶できるようになります。
• 2024 年への道:
• マルチモーダル - これは GPT-4 リリースの一部として実証されましたが、今後はそうではありませんGPU がオンラインになるまでは誰でも拡張可能です。

このプラグインには PMF がないため、すぐに API に表示されることはありません

多くの開発者が API 経由で ChatGPT プラグインにアクセスすることに興味を持っています。しかしサムは、これらのプラグインがすぐにリリースされるとは思わないと言いました。ブラウジング以外のプラグインの使用は、PMF がまだないことを示唆しています。 Sam 氏は、多くの人が自分のアプリケーションを ChatGPT 内に含めることを望んでいますが、実際に望んでいるのはアプリケーション内の ChatGPT であると指摘しました。

OpenAI は、ChatGPT のような競合他社を除いて、顧客との競合を回避します

多くの開発者は、OpenAI が新製品をリリースするとき、OpenAI API を使用して構築されたアプリケーションについて緊張していると言っています。競合製品。 Sam 氏は、OpenAI は ChatGPT 以外の製品をリリースしないと述べました。同氏は、キラーアプリを擁する優れたプラットフォーム企業が数多く存在しており、ChatGPTを利用することで自社製品の顧客になることで自社のAPIを改善できると述べた。 ChatGPT のビジョンは、超インテリジェントな作業アシスタントになることですが、OpenAI が関与しない GPT のユースケースは他にもたくさんあります。

規制は必要ですが、オープンソースも必要です

サムは将来のモデルの規制を主張していますが、既存のモデルが危険であるとは考えていません。それらを禁止するのは大きな間違いです。同氏はオープンソースの重要性を改めて強調し、OpenAIはオープンソースのGPT-3を検討していると述べた。 OpenAI がオープンソース化に遅れている理由の 1 つは、このような大規模な言語モデルを適切に管理できる能力を持っている人や企業が多くないと感じているためです。

スケーリングの法則はまだ存在します

最近の多くの記事では、「巨大な人工知能モデルの時代は終わった」と主張されています。サムは、それは彼の言いたいことを正確に伝えていないと言いました。

OpenAI の内部データは、スケーリングの法則が依然として維持されており、モデルのサイズを拡大することでパフォーマンスが向上し続けることを示しています。ただし、OpenAI はすでにモデル サイズをわずか数年で数百万倍に拡大しており、これを継続することは持続不可能であるため、モデル サイズは常に同じスケールで増加するとは限りません。しかし、それは OpenAI がモデルを大きくする努力をやめるという意味ではなく、モデルが桁違いに成長するのではなく、毎年 2 倍または 3 倍のサイズになる可能性があることを意味します。

拡張モデルが依然として有効であるという事実は、AGI の開発に重要な意味を持ちます。スケーリングの考え方は、AGI の構築に必要なほとんどの要素がおそらくすでに揃っており、残りの作業のほとんどは既存のメソッドを利用して、それらをより大きなモデルとより大きなデータセットにスケーリングすることになるということです。モデル拡張の時代が終わったとしても、AGI に到達するまでにはさらに時間がかかることになります。スケーリングの法則が依然として適用されるという事実は、より短い時間で AGI を達成できることを意味します。

以上がSam Altman 氏が OpenAI について語る: GPU 不足のパニックに直面し、GPT-3 はオープンソースになる可能性があるの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。