王軍教授は、ChatGPT後の一般的な人工知能の理論と応用について議論するために7人のAI学者を組織しました

ChatGPT の人気により、人工知能への注目が再び高まっていますが、ChatGPT 以降、人工知能はどのように発展していくのでしょうか?業界と ChatGPT の親会社である OpenAI は、AGI が将来の人工知能の開発方向になると考えています。

AGI の理論研究と応用実践はどのような側面から始めることができますか? 【ChatGPTと大型モデル春期コース】前回のトピックディスカッションでは、UCL、中国人民大学、ファーウェイ、清華大学、中国科学院、上海交通大学、南京大学、リバプール大学の学者と専門家が集まり、この疑問に答えました。 「ChatGPT後の一般的な人工知能」知能理論と応用」について議論します。

#以下は、ラウンドテーブル ディスカッションのハイライトの概要です。

トピック 1: 私たちは、タスクのためにマシンをトレーニングするためのアルゴリズムを設計する必要のない、一般的な人工知能を常に切望してきました。 ChatGPTはそんな可能性を私たちにもたらしてくれるのか?近年そんな夢を実現できるのか?

Liu Qun: 最初、私は「汎用人工知能」という言葉に少し嫌悪感を抱きました。比較 SF という用語は信頼性に欠けるようです。そのため、私はこれまでこのコンセプトに関する質問に答えることに消極的でした。しかし最近では、この言葉はかなり合理的であるように思えます。これは SF ではありません。今日の人工知能モデルはますます一般的になってきています。以前は、いくつかの小さな問題か単一の問題しか処理できませんでした。今では、ChatGPT は基本的にあらゆる種類の問題を処理できます。一般的な人工知能という用語は、知性は非常に適切です。

一般的な人工知能が実現するかどうかはあえて判断しませんが、一般的な自然言語処理はある程度実現されています。自然言語の分野では、機械翻訳、感情分析、中国語の単語の分割など、どんな小さな問題でも解決するのは非常に複雑で、単語はテキストや記号であるため、常にあらゆることが関係します。小さな演出をうまくやるには、言語システム全体を理解する必要があります。したがって、ChatGPT の言語関数の実装は、特に談話機能が非常に強力です。なぜなら、自然言語における談話は非常に奥深く、難しい問題だからです。 ChatGPT は、記事を書く際のルーチンや語彙など、人間のコミュニケーション プロセスにおける談話構造を非常によく学習しており、これは記事の論理と構成の非常に抽象的な方法です。最近の例では、人間の音声をシミュレートして特定の役割を担うことができます。これは入れ子構造の自然言語処理です。ChatGPT のようなトピックを切り替えるスタックです。混乱。

Wang Jun: 機械学習の観点から見ると、その目的方程式は非常に単純です。最初は、次の単語を予測することです。前の言葉; 第二に、この文章に対する答えは人間の答えと似ていますか?これら 2 つの非常に単純な目標にもかかわらず、事前に多くのロジックと設計が必要と思われることをなぜ彼は学ぶことができるのでしょうか?

Liu Qun: 目標を達成するには、使用される複雑な知識が十分に関与している必要があります。知識がより良く、より深く習得されるほど、予測はより正確になります。 。したがって、目標は単純ですが、それを達成するための手段は無限に複雑になる可能性があります。したがって、それをうまく行うには、非常に強力なモデルと大量のデータが必要です。

Huang Minlie: かつては、中国の人々は一般に、AGI の概念についてあえて語ろうとせず、AGI の定義さえ明確ではありませんでした。そのため、中国の科学者は夢を見る勇気がないと冗談を言うことがあります。AGI について話したら、スプレーで殺されてしまうからです。外国の科学者は確かに非常に感傷的です。たとえば、マサチューセッツ工科大学の教授は、1966 年に AI 対話システムを使用してチャット ロボットと心理療法ロボットを作成しました。これは非常に難しいことだと思います。彼らはあえて考え、実行します。私たちから学ぶ価値があります。

質問に戻りますが、現在、AGI からどれくらい離れていますか? ChatGPT が体現するインテリジェンスのレベルは、まだ AGI の発展途上にありますが、私たちがあえて考える必要のないことがすでに形になり始めています。したがって、別の言い方をしたほうがよいのではないかと思います、広い意味での AGI を達成する能力があるかどうかについては議論しないでください、なぜなら、広い意味では、私たちはさまざまな独立した思考能力や一般化能力も持っている可能性があるからです。現在、その全体的な知能レベルは、以前の AI が達成できるレベルを実際に超えています。その技術的なルートも大きく異なり、IBM Watson によって開発された DeepQA テクノロジーは完全に伝統的で古典的なものです。意味分析のこの理解ルーチンは、文の文法と構文構造を非常に明確に分析するものであり、学術思想のもう 1 つの学派を表しています。

しかし、今見てみると、ChatGPT はデータだけではなく、データとモデルの力、さらにはモデル自体の出現能力についても重要です。それが将来の AGI への正しい道だと思いますか?人によって意見は違うと思いますが、それは試してみる価値のある方向性だと思いますが、それが唯一の方向性ではありません。これは私の重要なポイントの 1 つです: どのように学習されるかは、完全にデータとモデルの暴力的な美学ではなく、多くのモデル アルゴリズムの設計、特に人間のデータとの整合性が依然として反映されています。 OpenAIの詳細は明らかになっていない部分が多いですが、内部には高度なデータ処理が行われているのでしょう。ここで見ているものは、単にデータを使い始めているように見えますが、実際にはそれほど単純ではない可能性があります。

Fang Meng: ChatGPT は確かに非常に強力です。最近、ChatGPT にコードを書くように依頼し、書かれたコードを直接実行したところ、バグを見つけました。初期化。バグ情報を直接コピーしてChatGPTに処理させると、関数とコードを推奨してくれました。しかし、この機能はバージョンアップで廃止されたため、推奨機能をもとにアップデートを見つけ、問題を解決しました。実際のところ、普通の人は具体的にコードを学ぶことはありませんが、コミュニケーションは必要だ、と私は考えています。また、ChatGPT は多くの NLP タスクを非常にうまく処理し、ほとんどの NLP タスクをほぼ考慮しており、汎用 AI であるようです。しかし、OpenAIが公開しているモデルは2021年以前のデータに基づいて学習されたものであり、新しい知識には対応できません。純粋に NLP の観点から見ると、ほとんどの NLP 研究問題を処理できる AGI モデルであるように見えます。将来、NLP に関する私たちの科学的研究は、間違いなく多くの新しい疑問を生み出し、新しいことを探求するでしょう。いつか ChatGPT が同様のことを行い、既存の問題に対処するのではなく、新しい問題を独自に作成できるようになったらどうなるでしょうか。新しいものを自ら生み出すという点では、一般的な人工知能に近いのではないかと思います。現在も彼が習得しているスキルは過去の膨大なデータに基づいていると思いますが、そのモデル学習には大きな計算能力と高度なエンジニアリングが組み込まれています。しかし、それは一つの方法に過ぎないかもしれませんし、他の方法があるかもしれません。したがって、他の方法を検討することもできます。

さらに、別の質問も考えているのですが、2022年のデータを学習させる場合、どのくらいの時間学習させる必要があるのでしょうか？人間と同じように学ぶことは可能でしょうか？それとも早く学んだ方が良いのでしょうか？これらも人工知能全般の重要なポイントの一つかもしれません。 OpenAI によって現在一般に使用されているモデルはまだこのレベルには達していませんが、確かに非常に強力であり、これは重要な前進です。

トピック 2: ChatGPT の欠点は何ですか?機械学習の観点から見た場合、目標を達成するにはどのような側面を改善できるでしょうか?あるいはその能力の限界はどこにあるのでしょうか?

ウェン・ジーロン: 明らかな欠点がまだいくつかあります。第一に、ChatGPT の知識はリアルタイム性が十分ではありません。言語モデルは知識と能力の両方を膨大なデータから学習します。両者は統合されており、人間の脳のように表現できます。ただし、この知識はトレーニング中に固定されているため、2021 年 9 月以降の新しいデータを学習のために入れる場合があります。新しいものを追加するには再トレーニングが必要ですが、これには非常にコストがかかり、基本的に現在は実現できません。したがって、ChatGPT と Bing は統合され、検索結果と最新のネットワーク データに基づくコンテンツ生成を組み合わせます。結合後、ChatGPT 知識のリアルタイム性と正確性の問題を解決できる可能性があります。しかし、私個人としては、この問題はまだ初期段階にあり、深く研究する価値があると考えています。大規模なモデル内のデータは静的であり、インターネット全体または外部の知識は動的です。モデルを使用して結果を生成する場合、モデルの内部知識と外部知識を組み合わせて結果を生成する方法。この質問に対する適切な答えはまだありませんが、うまく解決できれば、大きな意味を持つことになるでしょう。モデルを常に再トレーニングできるわけではないため、より動的なデータや専門的なドメイン知識が入ってきたときに、それらを組み合わせて生成または推論作業を完了できる安定した基本モデルが必要です。次に、私は 2 年以上にわたって大規模なマルチモーダル モデルに取り組んできましたが、ご覧のとおり、GPT-4 にはすでにいくつかのマルチモーダル モデルが含まれており、これは素晴らしいことです。今後は、生成と推論において複数のモダリティがどのようにうまく連携できるかをさらに研究する必要があると思います。これはまだ努力が必要なことです。第三に、現在の大型モデルの最大の問題は、価格が高すぎるということだと思いますが、数百億、数千億のスケールしか出現できないと言われており、この問題が実は科学の道を閉ざしているのです。研究コミュニティ。 ChatGPTくらいの規模のモデルがないと研究ができないのでしょうか？将来的に中程度のモデルで比較的高い機能やパフォーマンスを達成できなければ、その後の科学研究は非常に困難になります。最近、NLP の分野は大きな影響を受けており、実際、情報検索も大きな影響を受けており、従来のランキング作業を行うのは無意味です。 Bing が会話型検索になったため、会話型のレコメンデーションが間もなく登場します。いつの間にか、情報の取得が情報の生成になり、フィールドの名前の変更が必要になる場合があります。今、状況は劇的に変わりつつあります。将来的には研究プラットフォームにブレークスルーがあることが期待されていますが、今日の ChatGPT や GPT-4 のモデル機能を限定されたスケールのモデルでどのように提示するかは非常に重要です。

Wang Jun: 解決策の 1 つを紹介したいと思いますが、学術界におけるオープンソースが唯一の方法かもしれません。大規模なモデルがオープンソース化されている場合、少なくともモデルを事前トレーニングできる可能性があり、その後、それを調整したり、この方向で科学的研究を行ったりすることができます。業界がこのアーキテクチャを考案し、オープンソースによってその利用が促進されます。リー先生にいくつか質問です。ChatGPT にはまださまざまな欠陥がありますが、人間の脳の研究から人工知能への飛躍についてリー先生はどう思いますか? いわゆる AI が人間を超える地点にはいつ到達するのでしょうか?

Li Chengyu: 講義を聞いていて、私が一番考えたのは「進化」でした。人工知能は 1960 年代に始まったため、非常に急速に進化し、指数関数的な進化のプロセスとなっています。先ほどAGIについて触れましたが、実際にはAGIはすでに宇宙に存在しており、AGIは人間の脳の中にあり、多くのことができる物理的実体と大きなネットワークであり、人間自体がAGIを持っています。私たちの脳自体は一般的な機能を備えたネットワークであるため、理論的には、生物学的ニューラルネットワークであろうと人工ニューラルネットワークであろうと、多くのことができます。人工知能の爆発的な指数関数的な成長により、GPT4 のような革命的な開発が出現しました。これは人間の生物学的脳の進化に似ています。人間の脳は、すべての生物の中で体に比べて最も多くの脳を持っています。現在、マウスの脳には約 7,000 万個のニューロンがあり、サルの脳には約 60 億個、人間の脳には約 800 億から 1,000 億個のニューロンがあり、これも指数関数的に増加しています。したがって、この観点から見ると、GPT 進化における革命は非常にエキサイティングです。私個人としては、これは神経科学や脳科学に携わる者にとって、生物の脳と人工の脳の関係について考える非常に重要な機会であると考えています。

さらに、脳のメカニズムの観点からも、興味深い議論がたくさんあると思います。先ほど、2021年末以降、大規模モデルの継続学習ができなくなるという問題について触れました。しかし、人間の脳には明らかに継続的な学習能力があり、ある時点を過ぎても学習をやめることはありません。しかし興味深いのは、私たちの脳にはこの能力を制御する脳組織や領域がいくつかあるということです。一例として、海馬 H.M さんのケースがあります。医師がてんかん患者の海馬を切除した後、彼の長期記憶は手術の瞬間に止まり、その後新しい事実を学ぶことができなくなりました。この例は、今議論している問題と似ていますが、大規模モデルの継続学習能力は生物の脳から借りているものではない可能性があるので、これはチャンスだと思います。神経科学は、新しい人工知能ニューラルネットワークの設計に役立つ生物学的脳の継続学習能力のメカニズムを抽出する方法を知るために、あなたともっとコミュニケーションを取る必要があります。これは共進化のプロセスだと思います。このプロセスは、生物学的な脳がどのようにして継続的な学習を達成するかを理解するのにも役立ちます。以前はこの問題をそれほど重要視していませんでしたが、今では新たな挑戦を続けるために重要なことだと考えています。

私たちは現在、地図の研究を行っています。これは非常に基礎的な研究です。脳にはどのような種類の細胞があり、細胞がどのように接続されているかを理解する必要があります。まだたくさんあります。 「生物学的脳の分野における課題。この質問についてはよくわかりませんが、AI ネットワークでは各ニューロン間の接続が非常に明確です。そのため、現在の研究プロセスでは、BGI や BGI などの研究機関と協力しています。」華中科技大学は、さまざまな種の進化の過程で、6種の海馬が大きく変化し、多くの新しいタイプのニューロンが出現し、多くの新しい脳領域が出現したことを発見しました。海馬には多くの新しい部分領域が出現しており、私たちはカメ、鳥、ネズミ、サル、人間を研究してきましたが、この過程で人間の行動能力は向上し続けています。したがって、この行動の複雑さと能力は、海馬での新しい細胞の出現に対応していると思います。私たちはこれらの新しい細胞について学んでいます。

これから私たちができることについてお話したいと思いますが、やるべきことはたくさんあると感じています。研究の方向性も変えています。マウスやサルの研究からいくつかの原理を抽出し、それを人間の脳に適用することで、より複雑な機能を低消費電力で実現できるのではないかと考えています。柯潔はチェスでAlphaGoに勝つことはできないが、柯潔は毎日パンと饅頭を数個食べるだけで十分であり、エネルギー消費は非常に低く、インテリジェントエージェントの要件もこの方向に進むだろうが、人工知能チャットGPTは勝てないこの問題は、将来、より少ないエネルギー消費で物理的知性を生み出すために生物から学ぶ必要がある。

将来的には、知覚、認知、運動を統合する必要があります。現在、この形態ではロボットを制御して歩き回ることができませんが、将来的にはそれが可能になるかもしれません。知覚の領域を解決します。 Chat GPT や GPT4 は認知機能の問題を解決するものであり、将来的にはモーション コントロールに接続され、トランスをベースとしたモーション コントロール ロボット ハンドやロボット アームが数多く開発され続けていることを私は知っています。知覚、認知、運動が一つになれば、それぞれのモジュールが統合できるので、皆さんが分野横断的な統合とおっしゃったように、これは今後非常に重要なポイントだと思います。人工知能が発展していく過程で、脳科学が皆さんと協力してもっと面白いことができるようになればいいなと思っています。

Wang Jun: リーさんに聞きたいのですが、人間の脳は非常に複雑で、長い年月をかけて進化してきましたが、脳には何の報酬もありません。機能があり、誘導バイアスはありません。しかし、機械学習を行う場合は、特定の事前知識や仮定を機械学習に与える必要があります。事前の知識や仮定がなければ、予測を行うことはできません。機械学習においては、一般的な人工知能といっても、この2つの前提がまだ外せていないのですが、人間の脳を見ると、報酬機構も事前知識もなく、どうやって今の知恵を生み出すことができるのでしょうか？ ?しかし、現在の技術ではこれを達成することはできません。李先生はどう思いますか？ AIの専門家はどう考えているのでしょうか？報酬の仕組みや事前知識は必要ですか?

Li Chengyu: まず、いくつかのアイデアを紹介します。まず、進化の過程に報酬メカニズムがあるのか​​というと、私はあると思います、全生物の99％以上が絶滅しました、この絶滅は罰ですが、生物の存在は報酬です。視点、種、個体のすべてに報酬メカニズムがあります。誰もが報酬と罰を持っており、これらのプロセスによって脳の構造と機能が変化する可能性があります。したがって、生物の進化には報酬が存在するはずだと思います。 2つ目は、先ほどおっしゃったBIASで、実は生物にもBIASがあり、子どもたちは物を放すと落ちるなどの物理の基本原理などの認知を持って生まれており、それをBIASと呼んでいますが、これは脳の中にあります。私たちが生まれたとき、ニューラルネットワークは長期的な進化を遂げており、その中には特定の顔への関心など、外部の物理学や人間の社会的行動に対する一定のバイアスが存在します。機械学習は異なります。人々が外側から視点を変え、人工知能にさまざまなエージェントとチェスをさせる必要があります。人工知能は独自の異なる世代を生成し、前の世代をその BIAS として使用できます。これは避けられないことだと思います。個体が常に特定のタスク状態にあるとき、個体は競合する種の間で特定の軌道に沿って前進すると思いますが、この軌道は物理的実体によって枠付けられます。このフレームワークは既存の境界に依存する必要があり、BIAS を使用する場合のみ、より早く勝利を収めることができます。

Wang Jun: AI には自らを駆動する能力があるのか​​、いつ自己概念を持ち、自ら進化し、意識的になることさえある。この意識は人間に特有のもので、現在 ChatGPT によって行われている現象ですが、意識はあるのでしょうか、また他人の考えを知ることができるのでしょうか? しかし、実際にはテキストリストに残っているだけです。テキスト形式であっても、このことを 100% 正確に捉えることができるとは限りません。これについて皆さんがどう思うかは分かりませんが、AGI に自我や意識がないとしたら、報酬機能はあるのでしょうか? それは外部から与えられるものなのでしょうか、それとも自ら生成することができるのでしょうか?

Liu Qun: 私の理解について少し説明しましょう。先ほど、李先生が「生き残ることが究極の報酬である」とおっしゃいましたが、私もこれに大賛成で、実際、人間の究極の報酬は生存であり、その目的はすべて生き残ることです。しかし、私たちは生きていく中で、生き残るためにすべてをしているわけではないと感じることがありますが、実際にはこれらはすべて一種の生存圧力であり、最終的にはそれが形を変えます。もう 1 つの表現形式は報酬です。それは生きることについてではないように見えますが、実際には生き残ることにつながります。したがって、現在のAIは生存圧力がないため、自己進化を起こすことは難しいと考えています。仮にそれを荒野に置いて、計算能力に制限を与えたとして、単独で競争できる環境を作らない限り、いつか他人の電源コードを外して自分の電源コードを守ることができるようになるかもしれません。

李成宇: 意識の問題は明らかに非常に重要ですが未解決の問題ですが、今から研究することは不可能ではありません。弱い視覚刺激を与えると、実験者はそれが見えることもあれば見えないこともあると報告しましたが、意識は見えると報告しなかったと考えられます。脳の活動に大きな違いが出てきます。おそらく、このタイプのゲームは、chatGPT やその他の人工知能ネットワークが人間のような意識パフォーマンスを備えているかどうかをテストするために使用できるでしょう。実際、この分野では多くの議論があり、現時点では明確な答えはありません。この分野は生物学的に研究できるので、協力できると思います。サルに50％の可視刺激と50％の不可視刺激を与え、その脳活動を観察し、AIネットワークと比較します。

トピック 3: 意思決定インテリジェンス: 現在のロボットは、見ることも読むこともできますが、歩くことはできません。どうすれば歩かせることができるでしょうか?

Yu Yang: ChatGPT または最近の GPT の流行について、私は強化学習の意思決定の分野にいますが、非常に感動しました。この分野では大規模なモデル研究も行われています。しかし幸いなことに、強化学習に取って代わる、またはそれを打ち破るモデルはありません。これは、既存の GPT モデルと人間の生物学的知能の間に依然として大きなギャップがあるという事実も示しています。具体的には、ChatGPT にはワールド モデルの部分がありません。現在の GPT モデルには作業メモリはなく、コンテキストとプロンプト入力のみがあります。強化学習の研究で、このコンテキストには特定の記憶能力があることがわかりました。つまり、過去の行動、その結果、世界の反応を認識して記憶することができます。しかし、それは単なる線形シーケンスであり、それを保存する特別な場所がないため、この記憶能力は強力ではない可能性があります。これは、生物の海馬が短期記憶にとって非常に重要であるというリー先生の以前の話とは異なります。最近私たちも生物学の論文を読んでいますが、興味深い内容がたくさんあります。海馬と世界モデルの間には非常に密接な関係がありますが、GPT モデルには当てはまりません。 GPT モデルは夢を見ません。ネズミが夢を見るとき、その海馬は日中に遭遇したことを再現していることがわかります。これは実際には世界モデルの非常に典型的な現れです。マウスの体は動いていませんでしたが、脳は動いていました。見たすべてのデータが脳内で再生され、可視化結果では時系列ではなく、終わりから始まりまで逆順に並べられており、これは強化学習におけるデータ再生に似ています。記憶はよく似ています。したがって、この観点から見ると、現在の GPT モデルは機能的に十分に完成していません。簡単に言えば、これは現在でもいわゆる同時確率推定モデルにすぎない可能性があります。ラットの海馬からは、ラットが交差点に直面すると、推論に必要な脳領域の 1 つである海馬が左右に同時に動くことがわかります。現在の GPT モデルはまだこのレベルに達していないため、より良い意思決定を行うためには GPT モデルをさらに最適化する必要があると考えています。人間よりも優れた意思決定をしたいのであれば、基礎となる構造をさらに改善する必要があるかもしれません。

今日の大規模モデルは幅広い知識を持っていますが、多くの専門分野では大規模モデルはまだ完全には習得されていません。これらの分野には、民間データである商用データや医療データなど、非公開データや言語形式で存在しないデータが数多く存在します。したがって、これらの分野では今後も小規模なデータ処理が大量に行われることになるでしょうが、小規模なデータがなくなるわけではありません。これは非常に重要な点だと思います。それらの関係、おそらく大きなモデルは全体的な問題に対処するのに役立つかもしれませんが、小さな分野、特に意思決定に関わるデータ分析の場合、小さなデータと閉じたデータが多くの分野に存在することがわかり、そのため大規模なモデルを使用して解決することはできません。これらの問題。特に大規模なモデルがますます優れており、独自の領域で小規模なモデルを使用するアプリケーションが研究者からさらに注目される可能性があるため、小規模なモデルにも注目が必要であると私たちは考えています。

Zhang Weinan: フィードバック パスの観点から言いたいのですが、フィードバックとはリチャード サットンが教科書「強化学習」の最前線部分で述べたことです。実際、私たちは生まれながらに常に環境と対話し、認識した情報を制御してフィードバックを取得し、この閉ループの中で常に学習しています。フィードバックの場合、ChatGPT のチャットは実際にいくつかの回答を取得しますが、報酬関数も必要になります。実際には今はそのようなものはなく、むしろ州からの譲渡です。しかし、実際には、関連する報酬部分は ChatGPT で直接与えられるわけではないため、ChatGPT だけをトレーニングする場合、実際には、ループ内の最後の人の位置合わせを除いて、他の部分は教師あり学習です。つまり、ほとんどの場合、まだフィードバックという形で学習されていません。 ChatGPT が、ChatGPT for Robotics などの意思決定インターフェイスを呼び出すために使用されている場合、実際にこれらのインターフェイスにある程度接続されており、正しい意思決定を行うことができることがわかると想像できますが、これは単なる考えに過ぎません。認知能力を拡張し、トレーニングプロセス中にインターフェースを調整することなく報酬を最大化できます。フィードバックの連鎖が閉じていれば、実際には、パフォーマンスの向上に向けた意思決定の知性の発達につながります。最も重要な点は、必ずしも慎重に設計された報酬関数ではなく、意思決定タスクが正常に完了したかどうかを判断する能力です。意思決定タスクの成功または失敗の信号を ChatGPT にフィードバックできる場合、これは実際に閉ループを形成して継続的なフィードバックを提供し、意思決定タスクを完全に自発的に完了します。

Q&A セッション

Q1: マルチモーダル機能の実現の観点から見ると、Baidu Wenxin は Baidu のテキスト モデル、対話モデル、グラフィックスを介しているようです。この機能は、一種のステッチングを実行します。分散した機能を大規模なマルチモーダル モデルに統合する方法を説明していただけますか?これは GPT4 のマルチモーダル機能の実装とどう違うのでしょうか?

Zhang Weinan: まず第一に、Wenxin の背後にあるデザインはわかりませんが、非常にテキストっぽいと感じます。に基づいており、API を呼び出してマルチモーダル インタラクション機能を実現します。 Baidu Wenxin モデルが音声の生成を要求された場合、最初にテキストを生成し、次に API を呼び出して特定の方言で再生します。これは実際には拡張機能ですが、核となるのは依然として大規模言語モデルと真のマルチモーダル大規模モデルの違いです。しかし、これは私の推測であり、ウェンシンの本当の認識がこのようなものであるという意味ではありません。

#Q2: より成熟した大規模モデルと、従来の機械学習や深層学習などの小規模モデルとの関係は将来どうなるでしょうか?

Yu Yang: 今日の大型モデルは幅広い知識を備えていますが、多くの専門分野では、大型モデルはまだ知識が足りません。完全に把握します。民間データである商業データや医療データなど、データが公開されていない分野や言語ベースではない分野もまだ多く、これらの分野では小規模なデータ処理がまだ多く見られる可能性があります。 . データは消えません。これは非常に重要な点だと思うのですが、その関係はどうなるのでしょうか。おそらく大きなモデルは全体的なことを行うのに役立つかもしれませんが、小さな分野でのデータ分析、特に意思決定の場合、多くの分野は小さなデータと閉じたデータでいっぱいであるため、それを解決するために大規模なモデルを使用する方法はありません。したがって、小さなモデルも注目に値すると考えています。特に大きなモデルが非常に優れたものになった場合、より多くの研究者が独自の分野での小さなモデルの応用に注目するでしょうか？

Q3: Liu さんにお聞きしたいのですが、ChatGPT は生成モデルなので、実際には架空のニュースや論文の引用がよく出てきますが、どう思いますか?この現象について、何を改善できると思いますか?

Liu Qun: 実際、モデル自体は事実と非事実を区別できません。定義上、学習前のデータに現れるものや判断は事実であると考えられますが、現れない場合は事実ではありません。しかし、モデルが生成されるとき、それらがモデルのパラメータになったことはわかりません。モデル パラメーターの出力の一部が事前トレーニング データと一致し、一部が一致しないことは非常に一般的です。つまり、モデル自体は見分けがつきません。しかし、この問題は完全に改善できないわけではなく、GPT4 では実質的な改善が行われていることがわかります。これは、学習し、非事実を最小限に抑え、事実を見つけることによって行われます。しかし、既存の大規模モデルのニューラルネットワーク手法をそのまま利用するだけでは、問題を完全に解決することはできないと感じています。したがって、問題を解決するには他の方法を模索し、外部の判断を利用する必要があります。この質問はとても良い質問です。

Wang Jun: この質問は実は逆に考えることもできます。なぜですか?フィクションも良いものかもしれません。場合によっては、詩や作文を書くように求められ、できればSFの要素が含まれていることが求められるため、問題は非常に難しくなります。事実を見つけたいのか、アイデアを構築したいのかは確かにかなり曖昧であり、それを達成するには目標が必要です。

Q4: 優れた AI 業界の代表として、ファーウェイは次は独自の ChatGPT を開発するのでしょうか?現在のビジネスに基づいて、大型モデルまたはマルチモーダル モデルではど​​のようなレイアウトが使用されますか?

Liu Qun: まず第一に、ファーウェイは間違いなくこの課題に正面から立ち向かいます。 「エリア。具体的な事業計画やレイアウトを提供できるかもしれません。ここであまり具体的にするのは難しいですが、レン氏の講演で、誰かがレン氏に ChatGPT について質問したと述べたことにお気づきかもしれません。氏レン氏は、ChatGPT は NLP や視覚的な問題としてだけ見るべきではないと述べ、実際、その可能性は非常に大きく、将来のより大きな可能性は単純な表面にあるものではなく、NLP ビジョンの組み合わせである可能性があります。またはマルチモーダルな問題。それはファーウェイのさまざまなビジネスで使用される可能性があり、そのアプリケーションの80％は人々が想像していなかったかもしれないいくつかのビジネスに使用されることになります。可能性は非常に大きいと思いますし、ファーウェイは間違いなく課題に正面から取り組み、この分野で独自の能力を開発するでしょう。

#Q5: 神経科学の観点から見ると、ChatGPT システムは人間の思考フィードバックにもっと似たものを作るために他にどのような方向性を試みることができますか?

Li Chengyu: これは明らかに非常に良い質問です。脳科学と内科は大きく異なり、人によって意見が大きく異なります。私の個人的な意見しか言えませんが、汎用人工知能は今後非常に重要なポイントになるのではないかと考えています。もし私に似た容姿を持ち、私と同じような知性を持った存在が私の隣に立っているなら、彼は私の問題を解決するのを手伝ってくれるでしょう。この観点から見ると、現在の ChatGPT はさまざまな形をとることができます。それには動きを加えることができ、継続的な学習が必要であり、ある程度の自己認識も必要です。自己認識があれば、今述べたフェイクニュースの多くは解決できると思います。先ほどの倫理もありますが、最も基本的なデータソースから倫理的な問題があります。世界には 190 以上の国があるため、ChatGPT にはほとんどの国の文化が反映されていません。全体的な倫理的観点から、私たち全員が、より公平で、より効果的で、より公正な社会を構築する方法について、新しい視点から考える必要があると思います。より賢い知性と身体。 RLCN の学生からの質問には、実際に帰納的バイアスが含まれています。私は、帰納的バイアスが非常に重要だと考えています。この初期の認知マップは、先ほど述べた知性、全体的な動き、誘導に関連しており、生存にとっても重要です。

Q6: GPT 大規模モデルは、既存の機械学習研究パラダイムを覆すことになりますか?ポストビッグモデルの時代においても、人工知能の理論研究は依然として重要なのでしょうか?

Liu Qun: 私は理論家ではありませんが、理論は非常に重要だと思いますが、理論がどのように役立つのか想像もつきませんでした。今日の AI ははるかに優れた仕事をします。 「しかし、理論が疑問の解決に役立つことを願っています。大きなモデルの出現についてよく話されますが、出現自体は何も不思議なことではありません。モデルが大きくなれば、必ず新しい能力が現れると思います。大きなモデルは言うまでもなく、モデルさんは、普通の子が成長したら、体重が10倍になっているので、能力も以前とは違うはずなので、それが普通だと思います。しかし、さまざまな能力が発現するために必要なモデルのサイズやデータのサイズを正確に予測できる理論はあるのでしょうか?これについて本当に知りたいのですが、新しい機能を備えた大型モデルがどの程度登場する可能性があるのでしょうか?

Fang Meng: 将来の研究の方向性は GPT だと思います。GPT は強力な論理的推論能力を示します。これが GPT であることを証明する方法を知りたいです。本物の論理. 多くのデータを学習した後に模倣される論理的推論ではなく、推論能力。また、論理推論機能を実現するには、どのくらいの量のデータとどのくらいの規模のモデルが必要かについても興味があります。したがって、いくつかの実証的な結果は得られると思いますが、正しい答えを得ようとするなら、理論面でさらに研究を行う必要があります。

Wen Jiron: この質問はとても良い質問だと思います。研究できると思います。現在、GPT4 または他の大規模な GPT モデルは非常に多くの知識を示しています。 、または人間らしい行動。将来、デジタル脳科学のような科学は生まれるのでしょうか？なぜなら、このモデル自体が私たちの研究対象だからです。大規模なモデルを研究すること自体に非常に意味があると思いますし、ここで発見されたことは将来の脳科学や認知科学に多くの重要な意味をもたらす可能性があります。

Li Chengyu: これは良い質問だと思います。GPT4 に質問してみてください。その理由は、スタン デハエンが、意識には 2 つの核となる性質があると言ったからです。選択性の処理と監視、1つは入力された情報を全体的に選択的に処理することであり、もう1つは自分自身の意識を監視することです。この観点から、ChatGPT 自体、またはその将来の子孫は自身の動作を監視できるのでしょうか?これは理論レベルで求めることができ、この機能を生成するための新しいフレームワークまたはネットワーク構造を構築することもできます。この観点から、おそらく理論的枠組みは新世代の人工知能の構築に役立つ可能性があります。

Wang Jun: はい、能力の限界を知るのは注意力だけではありません。たとえば、Transformer の現在のアーキテクチャ機能の境界はどこでしょうか?何ができて何ができないのか?ワーキングメモリはあるのか?フィードバック機能の能力の限界はどこにあるのでしょうか?現れるものもあれば、現れないものもあります。実際、これらを研究するには非常に強固な理論的基盤が必要です。 Inductive BIAS の予備知識もありますが、まずトランスの設計自体が予備知識ですが、予備知識がなくてもできるのでしょうか？これらの問題は理論的な研究が非常に必要だと思いますが、指導がなければ誰もが首のないハエになってしまいます。

以上が王軍教授は、ChatGPT後の一般的な人工知能の理論と応用について議論するために7人のAI学者を組織しましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。