検索
ホームページテクノロジー周辺機器AIOpenAI CEO、「規模の拡大が進歩の唯一の方法ではなく、巨大な AI モデルの時代は終わりを迎えるかもしれない」

OpenAI CEO:巨型AI模型时代即将终结,想进步别再靠扩大规模

4 月 18 日のニュース、OpenAI のチャットボット ChatGPT は非常に強力であるため、人工知能への大きな関心と投資を引き起こしています。しかし、同社のCEOであるサム・アルトマン氏は、既存の研究戦略は失敗しており、将来のAIの進歩には新しいアイデアが必要であると考えている。

近年、OpenAI は、既存の機械学習アルゴリズムを以前は想像もできなかった規模に拡張することにより、処理言語において目覚ましい一連の進歩を遂げてきました。同社が最近開発したプロジェクトはGPT-4で、1億ドル以上の費用をかけて数兆語のテキストと数千個の強力なコンピュータチップを使って訓練されたという。

しかし、アルトマン氏は、AIの将来の進歩はもはやモデルの大型化に依存しない、と述べた。同氏はマサチューセッツ工科大学(MIT)のイベントで「私たちは時代の終わりに来ていると思う。この(発信する)時代において、モデルはますます大きくなった。これからは、別の形でモデルを作ろうとしている」と語った。

アルトマン氏のコメントは、新しい AI アルゴリズムの開発と展開をめぐる競争における予期せぬ展開を表しています。 11月にChatGPTを発表して以来、Microsoftは基礎となるテクノロジーを活用してBing検索エンジンにチャットボットを追加し、GoogleはBardという競合他社を立ち上げた。多くの人が、仕事や個人的なタスクを支援するために、この新しいチャットボットを試してみたいと考えています。

一方、Anthropic、AI21、Cohere、Character.AI など、資金豊富なスタートアップ企業の多くは、OpenAI に追いつくために、より大規模なアルゴリズムの構築にリソースを注ぎ込んでいます。 ChatGPT の初期バージョンは GPT-3 に基づいて構築されていますが、ユーザーはより強力な GPT-4 サポート バージョンにもアクセスできるようになりました。

アルトマン氏の声明は、モデルを拡張し、トレーニング用にさらに多くのデータを提供する戦略を採用した後、GPT-4 が OpenAI の最後の主要な成果になる可能性があることも示唆しました。ただし、現在の方法に代わる可能性のある研究戦略や技術については明らかにしませんでした。 GPT-4について説明した論文の中でOpenAIは、その推定ではモデルのスケールアップによる利益の減少が示されていると述べた。アルトマン氏によると、同社が建設できるデータセンターの数や、その建設速度には物理的な限界があるという。

Cohereの共同創設者でGoogleで人工知能の開発に携わったニック・フロスト氏は、アルトマン氏の言う「モデルのサイズを無制限に拡大し続けることは効果的な解決策ではない。計画」は正しいと述べた。彼は、GPT-4 およびその他のトランスフォーマー タイプ (編集グループ: トランスフォーマーは直訳するとコンバーター、GPT は Generative pre-trained Transformers の略で、トランスフォーマーに基づく生成事前トレーニング モデルを意味します) の機械学習モデルが進歩していると信じています。もはやスケーリングだけではありません。

Frost 氏は次のように付け加えました。「変圧器をより良く、より便利にする方法はたくさんありますが、その多くはモデルにパラメータを追加する必要はありません。新しい人工知能モデルの設計またはアーキテクチャと、人間ベースのさらなる調整「フィードバックは、多くの研究者がすでに模索している方向性です。」

OpenAI の言語アルゴリズム ファミリでは、各バージョンは人工ニューラル ネットワークで構成されています。このソフトウェアの設計は、ニューラル ネットワークからインスピレーションを得ています。要素が相互作用する方法相互に学習すると、トレーニング後に、指定されたテキスト文字列に続く単語を予測できます。

2019 年、OpenAI は最初の言語モデル GPT-2 をリリースしました。これには最大 15 億のパラメータが含まれ、ニューロン間の調整可能な接続数の尺度です。これは、スケールアップによってモデルの一貫性が高まるという OpenAI 研究者らの発見のおかげもあって、非常に大きな数字です。

2020 年、OpenAI は GPT-2 の後継となる GPT-3 を発表しました。これは、最大 1,750 億のパラメータを備えたより大きなモデルです。詩、電子メール、その他のテキストを生成する GPT-3 の幅広い機能により、他の企業や研究機関は、独自の AI モデルを GPT-3 と同等またはそれ以上のスケールに拡張できると考えるようになりました。

昨年 11 月に ChatGPT がデビューした後、ミーム作成者やテクノロジー専門家は、GPT-4 が登場すると、より多くのパラメータを備えたより複雑なモデルになるだろうと推測しました。しかし、OpenAI が新しい AI モデルを最終的に発表したとき、同社はそれがどのくらいの大きさになるかについては明らかにしませんでした。おそらく、重要なのはサイズだけではなくなったためでしょう。 MIT のイベントで、アルトマン氏は GPT-4 のトレーニング費用は 1 億ドルかどうか尋ねられ、「それ以上です」と答えました。

OpenAI は GPT-4 のスケールと内部動作を秘密にしていますが、パフォーマンスを向上させるためにスケールアップのみに依存しているわけではなくなっている可能性があります。可能性の 1 つは、同社が ChatGPT の機能を強化するために「人間のフィードバックによる強化学習」と呼ばれる手法を使用したことです。これには、人間がモデルの回答の品質を判断し、高品質と判断される可能性が高いサービスを提供するように誘導することが含まれます。答え。

GPT-4 の並外れた能力は多くの専門家を驚かせ、経済を変革する AI の可能性についての議論を引き起こし、偽情報を広めて失業を生み出す可能性があるという懸念も引き起こしました。最近、テスラのイーロン・マスク最高経営責任者(CEO)を含む多くの起業家やAI専門家が、GPT-4より強力なモデルの開発を6か月間停止することを求める公開書簡に署名した。

MIT のイベントで、アルトマン氏は、彼の会社が現在 GPT-5 を開発していないことを認めました。同氏はさらに、「この公開書簡の以前のバージョンでは、OpenAI が GPT-5 のトレーニングを行っていると主張していた。実際、我々はこれを行っておらず、短期的には行うつもりはない。」と付け加えた。

以上がOpenAI CEO、「規模の拡大が進歩の唯一の方法ではなく、巨大な AI モデルの時代は終わりを迎えるかもしれない」の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
GPT-4接入Office全家桶!Excel到PPT动嘴就能做,微软:重新发明生产力GPT-4接入Office全家桶!Excel到PPT动嘴就能做,微软:重新发明生产力Apr 12, 2023 pm 02:40 PM

一觉醒来,工作的方式被彻底改变。微软把AI神器GPT-4全面接入Office,这下ChatPPT、ChatWord、ChatExcel一家整整齐齐。CEO纳德拉在发布会上直接放话:今天,进入人机交互的新时代,重新发明生产力。​新功能名叫Microsoft 365 Copilot(副驾驶),与改变了程序员的代码助手GitHub Copilot成为一个系列,继续改变更多人。现在AI不光能自动做PPT,而且能根据Word文档的内容一键做出精美排版。甚至连上台时对着每一页PPT应该讲什么话,都给一起安排

集成GPT-4的Cursor让编写代码和聊天一样简单,用自然语言编写代码的新时代已来集成GPT-4的Cursor让编写代码和聊天一样简单,用自然语言编写代码的新时代已来Apr 04, 2023 pm 12:15 PM

集成GPT-4的Github Copilot X还在小范围内测中,而集成GPT-4的Cursor已公开发行。Cursor是一个集成GPT-4的IDE,可以用自然语言编写代码,让编写代码和聊天一样简单。 GPT-4和GPT-3.5在处理和编写代码的能力上差别还是很大的。官网的一份测试报告。前两个是GPT-4,一个采用文本输入,一个采用图像输入;第三个是GPT3.5,可以看出GPT-4的代码能力相较于GPT-3.5有较大能力的提升。集成GPT-4的Github Copilot X还在小范围内测中,而

GPT-4的两个谣言和最新预测!GPT-4的两个谣言和最新预测!Apr 11, 2023 pm 06:07 PM

​作者 | 云昭3月9日,微软德国CTO Andreas Braun在AI kickoff会议上带来了一个期待已久的消息:“我们将于下周推出GPT-4,届时我们将推出多模式模式,提供完全不同的可能性——例如视频。”言语之中,他将大型语言模型(LLM)比作“游戏改变者”,因为他们教机器理解自然语言,然后机器以统计的方式理解以前只能由人类阅读和理解的东西。与此同时,这项技术已经发展到“适用于所有语言”:你可以用德语提问,也可以用意大利语回答。借助多模态,微软(-OpenAI)将“使模型变得全面”。那

再一次改变“AI”世界 GPT-4千呼万唤始出来再一次改变“AI”世界 GPT-4千呼万唤始出来Apr 10, 2023 pm 02:40 PM

近段时间,人工智能聊天机器人ChatGPT刷爆网络,网友们争先恐后去领略它的超高情商和巨大威力。参加高考、修改代码、构思小说……它在广大网友的“鞭策”下不断突破自我,甚至可以用一整段程序,为你拼接出一只小狗。而这些技能只是基于GPT-3.5开发而来,在3月15日,AI世界再次更新,最新版本的GPT-4也被OpenAI发布了出来。与之前相比,GPT-4不仅展现了更加强大的语言理解能力,还能够处理图像内容,在考试中的得分甚至能超越90%的人类。那么,如此“逆天”的GPT-4还具有哪些能力?它又是如何

当GPT-4反思自己错了:性能提升近30%,编程能力提升21%当GPT-4反思自己错了:性能提升近30%,编程能力提升21%Apr 04, 2023 am 11:55 AM

GPT-4 的思考方式,越来越像人了。 人类在做错事时,会反思自己的行为,避免再次出错,如果让 GPT-4 这类大型语言模型也具备反思能力,性能不知道要提高多少了。众所周知,大型语言模型 (LLM) 在各种任务上已经表现出前所未有的性能。然而,这些 SOTA 方法通常需要对已定义的状态空间进行模型微调、策略优化等操作。由于缺乏高质量的训练数据、定义良好的状态空间,优化模型实现起来还是比较难的。此外,模型还不具备人类决策过程所固有的某些品质,特别是从错误中学习的能力。不过现在好了,在最近的一篇论文

「数学天才」陶哲轩:GPT-4无法攻克一个未解决的数学问题,但对工作有帮助「数学天才」陶哲轩:GPT-4无法攻克一个未解决的数学问题,但对工作有帮助Apr 10, 2023 pm 02:21 PM

当红炸子鸡ChatGPT,也成为数学天才陶哲轩的研究工具了。近日,他在网上称自己发现了一些ChatGPT的小用例。首先,它很擅长解析代码格式的文档(在这种情况下是#arXiv搜索的API),然后返回一个正确格式的代码查询(后来它还提供了一些工作的python代码,以我要求的方式调用这个API,尽管我不得不手动安装一个包来使它运行)。其次,我让它想出一些,聪明的学生在本科线性代数课上可能会问的问题(为此我提供了一些样本题目),它给出了一些很好的例子,让我对课程可能方向,以及潜在的作业问题有所启发。

体验了首个接入GPT-4的代码编辑器,太炸裂了!体验了首个接入GPT-4的代码编辑器,太炸裂了!Apr 04, 2023 pm 02:35 PM

目前 Cursor 已经开源在 GitHub 上,已斩获了 9000+ GitHub Star,并成功登上 GitHub Trending。 最近一款名为Cursor的代码编辑器已经传遍了圈内,受到众多编程爱好者的追捧。它主打的亮点就是,通过 GPT-4 来辅助你编程,完成 AI 智能生成代码、修改 Bug、生成测试等操作。确实很吸引人,而且貌似也能大大节省人为的重复工作,让广大码农把有限的时间放在无限的需求构思上!目前 Cursor 已经开源在 GitHub 上,已斩获了 9000+ GitH

GPT-4的早期实验,通用人工智能的火花GPT-4的早期实验,通用人工智能的火花Apr 07, 2023 pm 08:01 PM

最近,微软发布了一个长达154页的论文名称为《通用人工智能的火花,GPT-4的早期实验》。文章的主要观点是虽然GPT-4还不完整,但是已经可以被视为,一个通用人工智能的早期版本。由于全文将近7万字,本篇将论文的内容做了一下精炼和解读,有兴趣可阅读原文 https://arxiv.org/pdf/2303.12712.pdf来自微软的科学家们认为,GPT-4的智能水平已经非常接近于人类的水平,而且远超之前的诸如先前ChatGPT用的GPT-3.5这样的模型,可以将GPT-4视为通用人工智能系统,也

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser は、オンライン試験を安全に受験するための安全なブラウザ環境です。このソフトウェアは、あらゆるコンピュータを安全なワークステーションに変えます。あらゆるユーティリティへのアクセスを制御し、学生が無許可のリソースを使用するのを防ぎます。

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強力な PHP 統合開発環境

SublimeText3 英語版

SublimeText3 英語版

推奨: Win バージョン、コードプロンプトをサポート!

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール