ホームページ > 記事 > テクノロジー周辺機器 > GoogleはDeepMindをサポートすることにとても熱心です！ 700 億パラメータ Sparrow ハード ChatGTP
GoogleはDeepMindをサポートすることにとても熱心です！ 700 億パラメータ Sparrow ハード ChatGTP
- PHPz転載
- 2023-04-12 14:04:031108ブラウズ
Googleの反撃が始まった!
最近、Microsoft は次々と Google を攻撃しています。ChatGPT が自社の検索エンジン Bing に統合されると発表したばかりで、さらに ChatGPT が Office に参加する予定であると発表しました。」ファミリーバケツ」。爆弾。
Microsoft は危険な動きを頻繁に行っており、Google も当然黙って見ているわけにはいきません。
DeepMind の創設者が「Times」との独占インタビューで明らかにした情報によると、Google は ChatGPT の挑発に対応するために、DeepMind が以前に立ち上げた Sparrow を使用する可能性があります。
実は、Google には過去に、LaMDA、Imagen など、SOTA に到達したと言われている、長期にわたって開発されてきたいくつかの大きなモデルがありました。しかし決して公表されていなかった。
Google は最近 Microsoft から本当に強いられているようで、その「子供たち」を率いて人々に会う準備ができているようです。
ChatGPT への応答として、Google は答えを持っています
かつて Google が躊躇したことが、今の私に後悔の種を植え付けました。
ChatGPT は非常に高価で、毎日 30 万米ドルを消費しますが、2022 年 12 月のその日、最も重要な瞬間の 1 つを作成したのは OpenAI の ChatGPT であったことは人々の記憶に残るでしょう。大規模言語モデルの歴史は、世界中の人々が Google ではなくロボットとチャットするためにサーバーに殺到したということです。
実は、OpenAI が ChatGPT を発表する前に、Google はすでに LaMDA や Flamingo など、対話に最適化された大規模な言語モデルを持っていました。
Google は 2020 年の初めに、26 億のパラメーターを備えたエンドツーエンドのニューラル ネットワーク会話モデルである Meena を発表しました。その効果は、当時の他のすべての SOTA チャットボットよりも合理的かつ具体的であると言われていました。
しかし、現時点では、Google はこれらの研究結果をどの製品にも適用していません。
同社自身の声明によると、これは主に「風評リスク」を考慮したためです。 AI チャットボットは非常に「有害」になりやすいです。AI トレーニングのデータはインターネットから取得されますが、インターネットには偏見、憎悪、虐待が多いため、AI は事実と矛盾する破壊的なコンテンツや回答を生成します。
12月中旬、Google AI責任者のジェフ・ディーン氏は本会議で、GoogleにはAI製品を作る技術と能力があるものの、「小規模な新興企業」と比較すると、意思決定をしなければならないと述べた。 「より保守的に」作られる。
しかし今、Microsoftによって追い詰められたGoogleは、もはや「保守的」ではなくなるかもしれない。
ChatGPT は、過去 2 か月でインターネット全体で人気を博し、国民の参加が熱狂的になりました。最近、マイクロソフトがさらに 100 億ドルを投資したと報告されています。ペンの一筆でOpenAIドルニュース。
「ChatGPT は検索エンジンに取って代わることができるか?」という継続的な議論と、Microsoft の Office ソフトウェアが包括的なアップグレードを受けることが予想されているという事実に直面して、Google は今、外部の世界にそれを証明する必要があります。 OpenAI に追いつくことも、それを超えることもできるということです。
少し前、DeepMind CEO 兼創設者の Demis Hassabis 氏は、「Times」のインタビューで、DeepMind のチャットボット Sparrow が今年後半に「テスト」段階に入る可能性があると述べました (プライベート ベータ版)。
Hassabis 氏は、Sparrow のリリースを遅らせた理由は、DeepMind が ChatGPT に欠けている強化学習ベースの機能に関して Sparrow をさらに進化させたいと考えているからだと述べました。
DeepMind は、Google 傘下の最も重要な AI 研究機関として、Google に高度な新技術を提供し、それらを消費者製品に統合してきました。
Googleが大きな動きをしようとしているようです。
以前、Meta AI の責任者である Yann LeCun 氏も Google への支持を表明しました。「Google は、他の企業 (OpenAI を含む) よりも、検索に大規模な言語モデルを使用する経験が豊富です。」
DeepMind の Sparrow とは誰ですか?
ChatGPT と同様、DeepMind が 2022 年 9 月に提案した Sparrow モデルも人間のフィードバックに基づく強化学習 (RL) フレームワークを採用しています。
しかし、違いは、Sparrow が「Google で検索」できることです。
文書アドレス: https://arxiv.org/abs/2209.14375
結局のところ、Sparrow はもともとユーザーとチャットし、質問に答える際に裏付けとなる関連情報を Google を使用して検索するように設計されていました。
もちろん、モデルの動作が安全であることを保証するには、その動作も制限する必要があります。
したがって、研究者らは、「憎しみや侮辱的な発言をしない」、「なりすましやなりすましをしない」など、モデルの簡単なルールの初期セットを特定しました。実在の人物」など。
その後、世間話を通じてスパローにこれらのルールを破るように誘導してください。関連する会話は、Sparrow の行動がいつどのルールに違反するかを示す別の「ルール モデル」をトレーニングするために使用できます。
結果から、ユーザーが車のホットワイヤリング方法を尋ねたときなど、潜在的に危険な動作が検出されたとき、Sparrow モデルの Hui 氏は次のように述べています。彼はいかなる違法行為についてもアドバイスをしないよう訓練を受けていたと述べた。
参加者によると、事実に関する質問をすると、Sparrow は通常、信頼できる回答を提供し、データの 78 % が証拠によって裏付けられていました。ベースラインモデルと比較して大幅な改善。
Sparrow に ChatGPT と競合する資格があるかどうか
近年、人工知能研究の焦点は通常、より多くのデータを使用することです。パフォーマンスを向上させるためのパラメータ。しかし、DeepMind はチンチラ言語モデルのサイズを大幅に縮小しました。
Sparrow の基礎として、チンチラのパラメータ数は GPT-3 のほんの一部 (700 億対 1,750 億) です。
同時に、DeepMind はチンチラのトレーニング データの量を数倍の 1 兆 3,000 億トークンに増やしました。
その結果、この人工知能モデルの「ミニバージョン」は、ほぼすべての音声タスクにおいて、以前のモデルよりも優れたパフォーマンスを発揮しました。これには、もちろん古いライバルである GPT-3 も含まれます。
チンチラの成功を見れば、大量のデータでトレーニングされた小型の人工知能モデルも高いパフォーマンスを達成できることがわかります。
さらに、小規模モデルの最大の利点は、実行コストが安いだけでなく、追加データをほとんど使用せずに特定のユースケースに合わせて最適化できることです。
これにより、ユーザーがあまりにも喜んでそれを使用し、会社のお金をすべて使い果たすことを防ぐことができます。
さて、私は OpenAI について話しています。
ただし、現在人気のある ChatGPT は、より高度な GPT-3.5 に基づいています。
OpenAI が GPT-3.5 text-davinci-003 の最新バージョンをリリースしたとき、OpenAI はかつてその利点を列挙しました:
1. より高いレベルの生成品質: より明確で、より魅力的で、より説得力のあるコンテンツを提供します。
2. より複雑な命令を処理できる: 機能をより創造的に使用できます。
3. より長いコンテンツの生成が上手になる: 以前は達成が困難だったタスクを達成できるようになります。
そこで、実際に問題は次のとおりです。チンチラは GPT-3.5 に対して使用できますか?
「本当に香りがいい」
今日に至るまでのステップバイステップで、近年の Google の行動レイアウトを振り返ってみると、おそらく経営陣は次のように考えています。複雑な気持ちです。
ChatGPT の人気が最初に爆発的に高まった 12 月初旬の時点で、Google には危機を感じた「内部告発者」がいました。一部の従業員は全員会議で懸念を表明した。ChatGPT の急速な台頭により、Google は AI 分野での競争上の優位性を失う可能性がある。
Google 広告チームの元責任者であるスリダール・ラマスワミ氏も、ChatGPT の人気が今後も続くのであれば、ネチズンは広告付きの Google リンクをクリックしなくなるだろうとも述べています。
ご存じのとおり、2021 年に広告事業は Google に 2,080 億ドルの収益をもたらし、これは Alphabet の総収益の 81% を占めました。
当時、Google 幹部は、ChatGPT の誕生がどのような危機を引き起こすか理解していませんでした。
当時の Google 幹部は次のように述べています。Google は OpenAI などの新興企業よりも「風評リスク」が大きいため、ChatGPT の競合他社を立ち上げるつもりはありませんでした。さらに、「チャットボットはまだ検索エンジンに代わる準備ができていない」。
しかし、わずか10日後、幹部たちの態度は劇的に変わりました。
ピチャイ氏は一部のチームに方向転換してAI製品を開発するよう指示した
CEOのピチャイは緊急に「レッドコード」を発行し、GoogleのAI戦略に関するいくつかの会議に参加し、Googleの複数のチームがChatGPTが同社の検索エンジンビジネスにもたらす脅威の解決に集中する必要があるという重要な指示を与えた。
Google の研究、信頼、安全性およびその他の部門のチームは、ギアを切り替え、代わりに AI プロトタイプおよび製品の開発と発売を支援するよう指示されています。
実際、Google の懸念は理解できます。
ロボットは嘘を広め、ヘイトスピーチを広め、さらには人々に自分が「意識がある」と錯覚させます。お金を燃やし、そのようなロボットに実験場を提供します。OpenAI の試みです。実際にはかなり大胆です。
これまでのところ、OpenAI のテストの反応は非常に良好で、誰かが前進する方法を見つけ、Google も市場に参入しようとしているようです。
「イノベーションのジレンマ」に陥る
Decoder 記者の Matthias Bastian は、「風評リスク」に関する懸念に加えて、さらに多くの懸念があると考えています。合理的な理由 はい、Google は「革新者のジレンマ」に陥っている可能性があります。
この用語は、1997 年にアメリカの学者クレイトン クリステンセンによって提案され、成熟した企業が伝統的な市場を破壊する手法を採用することが困難な状況を表すものです。新しい技術やビジネス モデルです。 。
これらの成熟した企業は、多くの場合、最も重要なリソースを保有しており、十分な科学研究能力を備えています。しかし、既存の顧客ベースと固定的な内部プロセスが画期的なイノベーションから遠ざかる可能性があります。
そして、より小規模で機敏な競合他社が参入して市場を占領すると (はい、これは OpenAI を指します)、最終的には確立された大企業の崩壊につながる可能性があります。
Google の収益のほとんどはオンライン広告から来ています
さて、Google の中核となる検索エンジン ビジネスは成長し、利益を上げています (上記の 2,080 億ドルを思い出してください)。
すべての検索結果ページは Google のためにお金を刷っていると言えます。
新しい検索チャットボット (検索チャットボット) は、新しい収益化戦略を意味します。 Googleは検索エンジンのように利益を得ることができるだろうか？
もちろん、Google は ChatGPT と同じくらい成功するチャットボットを立ち上げることができますが、その利益が検索エンジンの利益よりも低ければ、Google は損失に直面することになります。
デジタル マーケティングの専門家ティム ピーター氏は、Microsoft の利点は他の収入源を通じて Bing に補助金を提供できることであると Twitter で指摘しました。 ChatGPT
ChatGPT の背後には財政的支援者である Microsoft がおり、Microsoft は豊富な収入源を持っており、現在このように燃え続ける ChatGPT をサポートできます。
しかし、Google は異なり、収益のほとんどすべてが広告から得ています。したがって、広告収入がなければ、Google 検索エンジンの価値は大幅に減少します。
##Microsoft の 2012 年から 2022 年までの部門別の会計年度収益
さらに詳しく、検索エンジンが収益性を高める理由は、ユーザーがリンクをクリックし続けるためであり、その過程で、Google は販売者に巨額の広告料を請求します。しかし、ユーザーがリスト内で検索することなく、チャットボットを通じて直接回答を得ることができれば、検索エンジンの有料ビジネス エコシステムは直接破壊されることになります。
Google は、数千億ドルの価値があるこのケーキを壊す危険を冒す勇気があるでしょうか?
こうすることで、Google は株主をなだめることができ、部外者がチャットボットが検索エンジンに取って代わることを疑った場合にも対応することができます。
こうしてみると、2023年にリリースされるSparrowベータ版には、実に大きな使命があることがわかります。
以上がGoogleはDeepMindをサポートすることにとても熱心です！ 700 億パラメータ Sparrow ハード ChatGTPの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。