サム・アルトマン氏の講演の削除されたトランスクリプト: オープン AI には GPU も不足しており、コスト削減が主な目標です

Microsoft が「半減期」を OpenAI に引き渡した後、12 億ドルはほぼすべてのコンピューティング能力に相当します。

著者 | Lingzijun

編集者 | 魏世傑

サムアルトマンのヨーロッパツアーはまだ進行中です。少し前に、彼はロンドンで人工知能企業ヒューマンループの CEO とプライベートで会談しました。 HumanLoop は、大規模な言語モデルでアプリケーションを構築するためのサービスを提供する会社であり、その目標は開発者がこの目標を達成できるように支援することです。

HumanLoop CEO の Raza Habib は会話の要点を記録し、同社の公式 Web サイトで公開しました。 しかしその後、議事録は OpenAI の要請により削除されました。 これにより、この会話に対する外部の人々の好奇心が実際に高まりました。 OpenAI に関わる考え方の一部が変わったのではないかと推測する人もいます。

削除された会話議事録を閲覧した後、Geek Park は、サムの OpenAI に対する短期計画だけでなく、隠された情報も含まれていることを発見しました。Microsoft のクラウド コンピューティング リソースから強力なサポートを受けた後、 OpenAIに対する圧力。 結局のところ、モデルの微調整と推論は依然として大量のコンピューティング リソースを消費します。 The Information によると、Open AI モデルには Microsoft Azure の費用が 12 億ドルかかりました。 OpenAI のサポートにコンピューティング リソースを集中させると、Microsoft の他の部門が利用できるサーバーも制限されます。

これに関して、サムはコストを削減することが現在の主な目標であると述べました。

さらに、Sam は次のことも明らかにしました: 現在、より長いコンテキスト ウィンドウを開いたり、微調整 API を提供したりするサービスは、GPU リソースによって 制限されています;

この対話の中で、サム・アルトマンは、競争や商業化など、外の世界にとって懸念される多くの問題について答えました。

世界クラスのプロダクト マネージャーである Peter Deng を雇用したばかりにもかかわらず、OpenAI はこれ以上の製品をリリースすることを検討していません;
将来のアプリケーションのトレンドは、ChatGPT でプラグインを増やすのではなく、大規模モデルの機能をより多くの APP に埋め込むことです。実際には、ほとんどのプラグインは PMF (Product/Market Fit) を示さないためです。
2. 過去数年間、OpenAI はモデルの規模を数百万倍の速度で拡大してきましたが、この速度は持続不可能です。次に、OpenAI はモデルのパフォーマンスを向上させるために、モデル サイズを 1 ～ 3 倍の割合で増加し続けます。

ネチズンの記録によると、会話の議事録は5月29日に公開され、6月3日頃に削除された。

バックアップから得られる内容は次のとおりです:

01

OpenAI は現在

にあります

GPU の重大な制限

会話が広がるにつれて、

必要なコンピューティング リソースは急激に増加します

現在、OpenAI の GPU は非常に限られており、そのため短期計画の多くが遅れています。顧客からの最大の不満は API の信頼性と速度です。 Sam は彼らの懸念を認め、

問題のほとんどは GPU の不足が原因であると説明しました。

より長い 32,000 のコンテキストは、まだより多くの人に展開することはできません。

OpenAI は注意力の O(n^2) スケーリングを克服できていないため、100,000 のコンテキストがあるのはもっともらしいと思われますが、 - 100 万トークンのコンテキスト ウィンドウが間もなく (今年中に) それ以上になると、研究の画期的な進歩が必要になります。 より長い 32K コンテキストは、まだ多くの人が利用できません。

OpenAI は、アテンション メカニズムの O (n ^ 2) スケーリング問題をまだ克服していませんが、間もなく (今年) 100k ～ 1M トークンのコンテキスト ウィンドウができるようです。これより大きなウィンドウを実現するには、研究の画期的な進歩が必要になります。

注: O (n^2) は、シーケンスの長さが増加するにつれて、アテンション計算の実行に必要なコンピューティング リソースが指数関数的に増加することを意味します。 O は、アルゴリズムの時間または空間の複雑さの増加率の上限または最悪のシナリオを記述するために使用されます。(n^2) は、複雑さが入力サイズの 2 乗に比例することを意味します。

微調整 API も現在、GPU の可用性によって制限されています。 Adapter や LoRa のような効率的な微調整方法を使用していないため、微調整による (モデルの) 実行と管理は非常に多くの計算量を要します。将来的には、微調整のサポートがさらに強化される予定です。モデルへの貢献を目的としたコミュニティベースのマーケットプレイスを主催することもあります。

専用容量のプロビジョニングは、GPU の可用性によって異なります。 OpenAI は、顧客にモデルのプライベート コピーを提供する専用の機能を提供します。サービスを受けるには、顧客は前払いで 10 万ドルを支払う用意がなければなりません。

02

OpenAI の短期ロードマップ

2023 年、賢くコストを削減;

2024、マルチモダリティの限定的なデモンストレーション

Sam はまた、OpenAI API の暫定的な短期ロードマップとして考えていることについても共有しました。

2023:

• より安く、より速い GPT-4 ーーこれが彼らの最優先事項です。全体として、OpenAI の目標は「インテリジェンスのコスト」を可能な限り削減することであるため、今後も API のコストを削減し続けるよう努力する予定です。
• コンテキスト ウィンドウの長期化 ーー近い将来、コンテキスト ウィンドウは 100 万トークンに達する可能性があります。
• 微調整 API ー 微調整 API は最新モデルにも拡張されますが、正確な形式は開発者が本当に何を望んでいるのかに依存します。
• ステートフル API - 現在、チャット API を呼び出す場合、同じ会話履歴を通じて同じトークンを何度も支払う必要があります。セッション履歴を記憶する API の将来のバージョンが登場する予定です。

2024：

マルチモダリティ - これは GPT-4 リリースの一部としてデモされていますが、より多くの GPU がオンラインになるまで、すべての人に拡張されるわけではありません。

03

コマーシャルの予測と考え方:

プラグイン「PMFなし」、

すぐに API に表示されなくなる可能性があります

多くの開発者が API アクセスを備えた ChatGPT プラグインに興味を持っていますが、Sam 氏は、これらのプラグインがすぐにリリースされるとは思わないと述べました。 Brosing プラグインに加えて、他のプラグインの使用状況は、PMF (Product/Market Fit) がまだ確立されていないことを示しています。 彼は、多くの人が自分のアプリケーションを ChatGPT 内に置きたいと考えているが、実際に望んでいるのは ChatGPT がアプリケーション内に存在することであると指摘しました。

04

ChatGPT に加えて、

OpenAI は顧客との競合を回避します

すべての優れた企業はこれらを備えています

キラーアプリ

多くの開発者は、OpenAI が最終的に自社と競合する製品をリリースする可能性があるため、OpenAI API を使用した開発に不安を感じていると述べています。 Sam は、OpenAI は ChatGPT 以外の製品をこれ以上リリースしないと言いました。 彼は、歴史的に見て、優れたプラットフォーム企業はキラー アプリケーションを持っていると述べました。 ChatGPT を使用すると、開発者は独自の製品の顧客になることで API を改善できます。 ChatGPT のビジョンは、超インテリジェントな作業アシスタントになることですが、OpenAI ではカバーできない GPT のユースケースは他にもたくさんあります。

05

監督が必要です、

＃＃＃＃＃＃しかし今ではありません＃＃＃＃＃＃＃＃＃＃＃＃

「私は何人の人や会社を尊敬しましたか。

大型モデルの保持能力に疑問」

サムは将来のモデルの規制を求めていますが、既存のモデルが危険であるとは考えておらず、それらを規制したり禁止したりするのは大きな間違いであると考えています。同氏はオープンソースの重要性を改めて強調し、OpenAIはGPT-3のオープンソース化を検討していると述べた。

彼らはまだそれをオープンソース化していません。その理由の 1 つは、どれだけの個人や企業が大規模言語モデル (LLM) を保持して提供できるかについて彼が懐疑的だからです。

06

スケールの法則は依然として適用されます

数年で数百万倍の拡張速度、

それは永遠に続くことはできません

最近「巨大AIモデルの時代は終わった」と主張する記事が多くなりました。これは正確ではありません。 (注: 4 月に MIT で行われたイベントで、サム アルトマン氏は次のように述べました。「私たちは今、巨大モデルの時代の終わりに近づいています。)」

OpenAI の内部データは、モデル パフォーマンスのスケールの法則が引き続き適用され、

モデル サイズを増やすとパフォーマンスが向上し続けることを示しています。

OpenAI はわずか数年でモデルを何百万回もスケールアップしたため、この拡大率を維持することはできません。 これは、OpenAI が今後もモデルを大きくしようとしないという意味ではありませんが、モデルのサイズが何桁も増加するのではなく、毎年 2 倍または 3 倍になる可能性があることを意味します。 規模の法則が有効であることは、AGI 開発スケジュールに重要な意味を持ちます。

スケールの法則では、AGI の構築に必要なほとんどの要素がおそらくすでに揃っていることを前提としています。残りの作業は主に、既存のメソッドをより大きなモデルやより大きなデータ セットに拡張することです。スケールの時代が過ぎ去った場合、私たちは AGI からさらに遠ざかることになるかもしれません。規模の法則が引き続き適用されるという事実は、スケジュールがより短いことを強く示唆しています。

オタクの質問

OpenAI についてどう思いますか

最近のテクニカルルートは何ですか?

ホットなビデオ

Apple Vison Pro 製品ディスプレイのフルバージョンが公開されました!ハードウェアは必要ありません。お互いに確認できます。デジタル世界と現実世界をシームレスに融合！

いいねしてフォローしてくださいGeek Park ビデオ番号

,

もっとエキサイティングなビデオを見る ＃＃＃＃＃＃続きを読む＃＃＃＃＃＃

以上がサム・アルトマン氏の講演の削除されたトランスクリプト: オープン AI には GPU も不足しており、コスト削減が主な目標ですの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。