OpenAI 創設者 Sam Altman への最新インタビュー: GPT-3 またはオープンソース、スケーリング ルールが AGI の構築を加速する

ビッグ データ ダイジェストの生成

「GPU が非常に不足しています」

最近のインタビューで、OpenAI の責任者である Sam Altman 氏は、「不満はAPI「信頼性とスピード」。

このインタビューは、人工知能スタートアップ Humanloop の CEO、Raza Habib によるもので、彼はインタビューのハイライトを Twitter にまとめました。

Twitter アドレス:

https://twitter.com/dr_cintas/status/1664281914948337664

# この中でインタビューによると、アルトマン氏は過去 2 年間の GPT 計画も発表しました。たとえば、2023 年の計画では GPT-4 のコストを削減し、応答速度を向上させることです。その他には次のようなものがあります:

1. より長いコンテキスト ウィンドウはサポートする可能性があります100 万トークン;

2. 開発者がより適切に開発できるように API を微調整します;

3. セッション状態 API、つまりセッション状態をサポートする API をサポートします。

2024 年の計画では、GPT-4 はマルチモダリティをサポートする必要があると述べられていましたが、2024 年に延期された理由は、GPU が少なすぎるためです。

#インタビューの中で、Altman 氏は、GPT-3 をオープンソースにするかどうか検討しているとも述べました。とても重要です。同時に同氏は、「現在のAIモデルはそれほど危険ではない。将来のモデルを規制することは非常に重要だが、開発を禁止するのは大きな誤解だ」とも述べた。

ラザ・ハビブは当初、このインタビューに関するより詳細な情報をヒューマンループに公開していましたが、ダイジェストが今朝チェックしたところ、ページはすでに 404 でした。国内 Weibo での @宝玉xp の翻訳によると、彼は大規模モデルの将来の開発のためのスケーリング ルールについても言及しました:

OpenAI の内部データは、モデル パフォーマンスのスケーリング ルールが継続していることを示しています効果を高めるには、モデルを大きくしても引き続きパフォーマンスが得られます。 OpenAI はモデルを何百万回もスケールしてきたため、将来的には持続不可能なペースでスケールし続けることはできません。これは、OpenAI がモデルをさらに大きくしようとしないという意味ではなく、モデルが何桁も増加するのではなく、おそらく毎年 2 倍か 3 倍にしかならないだろうということを意味しています。

スケーリングが引き続き効果的であるという事実は、AGI 開発のタイムラインに重要な意味を持ちます。スケーリングの前提として、AGI の構築に必要なほとんどの部分がおそらくすでに用意されており、残りの作業のほとんどは、既存のメソッドをより大きなモデルとより大きなデータ セットに拡張することになります。スケーリングの時代が終わったとすれば、おそらく AGI の実現はさらに遠くなると予想する必要があります。スケーリングの法則が引き続き有効であるということは、タイムラインの短縮を強く示唆しています。

明らかに、スケーリングの法則が AGI への最速の道です。

スケーリング ルールとは何ですか?

スケーリングの法則 (英語名は Scaling Laws) は現象の説明であり、一般に次のことを指します。言語モデルの効果とパラメータの量、データの量、計算量は基本的に滑らかなべき乗則に従います。

つまり、モデルのパラメーターの数 (パラメーター)、トレーニングに含まれるデータの量 (トークン)、トレーニング プロセスで蓄積される計算量 (FLOPS) が指数関数的に増加すると、テスト セット上のモデルのパフォーマンスは指数関数的に増加し、損失は直線的に減少します。これは、モデルのパフォーマンスが向上することを意味します。

凡例: 経験的なパフォーマンスは、他の 2 つの要因によって制約されない場合、個々の要因とべき乗則の関係を示します。

2022 年、DeepMind は ScalingLaw でさらなる分析を実施しました。研究では、言語モデルの学習データのサイズは、モデルパラメータのサイズに比例して大きくする必要があることを定量的な実験により検証しました。総計算量が変わらない場合、モデル トレーニングの効果にはパラメーター サイズとトレーニング データ量の間に最適なバランス ポイントがあり、曲線の下の最低点はパラメーター サイズとトレーニング データ量の間の非常に優れた妥協点です。ポイント。

OpeaAI の成功と GPT-4

OpenAI は非営利の人工知能研究研究所として始まり、2016 年にサム アルトマンとイーロン マスクを 100 億の資金で買収しました。

2019 年、OpenAI は投資家の資金を吸収するために、営利目的の人工知能研究研究所に変わりました。

研究所の研究を支援する資金が不足してきたとき、マイクロソフトは研究所にさらに 10 億米ドルを投資すると発表しました。

OpenAI によって発売された GPT シリーズのすべてのバージョンは、業界でカーニバルを引き起こす可能性があります。Microsoft Build 2023 開発者カンファレンスで、OpenAI 創設者の Andrej Karpthy 氏は講演「State of GPT (GPT の現状)」で次のように述べています。彼らは大型モデルを「人間の頭脳」として訓練してきた。

Andrej 氏は、現在の LLM 大規模言語モデルは人間の思考モードのシステム 1 (高速システム) と比較でき、システム 1 (高速システム) は、応答は遅いが長期的な推論を行うシステム 2 (低速システム) と比較できると述べました。 。

「システム 1 は、LLM に相当する高速の自動プロセスで、トークンをサンプリングするだけだと思います。

システム 2 は、ゆっくりとした、よく考えられた計画を立てる脳の部分です。

プロンプト プロジェクトは基本的に、私たちの脳の機能の一部を LLM に復元することを望んでいます。」

Andrej Karpthy 氏も、GPT-4 は驚くべき成果物であると述べ、彼はそのことに非常に感謝しています。それが存在します。多くの分野で豊富な知識があり、数学やコードなどをすべて指先で実行できます。

CEO の Altman 氏は、初期の GPT-4 は非常に遅く、バグがあり、多くの機能が不十分だったと述べました。しかし、初期のコンピューターも同様で、たとえ開発に数十年かかったとしても、私たちの生活にとって非常に重要になる何かへの道を示していました。

OpenAIは夢を主張し、極限までやりたいと考えている組織のようです。

Microsoft Research Asia の元副社長で Lanzhou Technology の創設者である Zhou Ming 氏は、インタビューで次のように述べています。

OpenAI の最大の成果は、あらゆる面で完璧を達成したことであり、統合されたイノベーションのモデルです。

世界にはさまざまなタイプの人々がいますが、根底にあるイノベーションを研究したいだけの人もいます。基礎となるイノベーションに基づいたアプリケーションもあれば、一般的なアプリケーションは単一のタスクを解決するものです。これは次のように書き換えることができます。 もう 1 つのアプローチは、統合イノベーションを達成し、すべての作業、アプリケーション、アルゴリズムを大規模なプラットフォームに集中させてマイルストーンを作成することです。 OpenAI は、イノベーションの統合において非常に優れた仕事をしています。

参照:

https://mp.weixin.qq.com/s/p42pBVyjZws8XsstDoR2Jw https://mp.weixin.qq.com/s/zmEGzm1cdXupNoqZ65h7yg https://weibo.com/1727858283/4907695679472174?wm=3333_2001&from=10D5293010&sourcetype=weixin&s_trans=6289897940_490769 5679472174&s_channel=4 https://humanloop.com/blog/openai - 計画?cnotallow=bd9e76a5f41a6d847de52fa275480e22

以上がOpenAI 創設者 Sam Altman への最新インタビュー: GPT-3 またはオープンソース、スケーリング ルールが AGI の構築を加速するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。