Alibaba GPT は 15 日間で「Niaoniao」の口代わりを訓練しました。これは ChatGPT + Siri よりもはるかにエキサイティングです。

信じられないかもしれませんが、私たちはここ 2 日間、トークショー俳優の「ニャオ ニャオ」と一緒に過ごしています。

昨年の小国文化で最も人気のあるミームの 1 つである彼に聞いてみましょう:「エビのボーイフレンドについて知っていますか?」# ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃ taはすぐに答えました：「最近、エビのボーイフレンドのミームがネットで人気があると聞きました。それは、スタイルは良いが、顔があまり良くない少年のことを指します。彼らはエビのようなもので、必要なものだけが必要です「取り除く必要があります。頭は食べられます。トークショー俳優のリー・ダンが番組でネチズンの人生のすべてを暴露したため、この言葉は最近よく知られています。」

某ダンがやって来た。エビの糸であなたを探しています

この声をよく聞いてください、鳥だと思いますか？

「ニャオニアオ」が新志園に来た？

1. 非常に個性的な

聞こえませんでしたか?それでは、正確に「位置を特定」できる質問をしてみましょう。 Bird: あなたは内向的ですか?

しばらくすると、ニャオニアオさんの独特の口調がゆっくりと聞こえました。「はい、私は社交不安を抱えた内向的な女の子です。ステージ上であっても自分が見えないと感じることがよくあります。あえて表現することはできません」私自身もそうなんですが、だからといって劣等感を感じるわけではなく、パフォーマンスを通じて同じような人がもっと増えて、心の奥底に私たちにも特別な存在と価値があるということを知ってもらいたいです。

##対人恐怖も大丈夫です音声

まあ、あなたはなんて鳥だと思います。

たまたま、Niaoniao が少し前にミラノに行ったので、彼の経験を共有させていただきませんか。

「最近、ファッションウィークに参加するためにイタリアのミラノに行き、とても興味深いイベントに参加しました。緊張して足が痛かったですが、たくさんのことを学びました。私も行きました」 「ミラノ大聖堂を見に行きました。とても衝撃的でした。イタリアは私の故郷の内モンゴルにとても似ていて、とても親切だと思います。」

ファッションウィークに参加するためにミラノに行きましたaudio

2. 作曲マスター

##とても面白そうです。では、このテーマについてエッセイを書いていただけますか? ta さんは安心してくつろいでいます。「ミラノの街を歩いていると、ルネッサンスの世界にいるような気分になります。ルネッサンスの世界には、象徴的な古代と現代の建物がたくさんあります。 」

#ミラノ、言葉では言い表せない中毒

Audio

このエッセイにタイトルを付けろと言われたら、考えた末に一瞬の間、彼は口走ったが——「ミラノへの旅行を人生最高の思い出にする方法」。なんという素晴らしい文才でしょう！ ねえ、編集者が突然アイデアを思いつきました...

昨年、Niaoniao はチャンス トークショーのコンテストで準優勝した彼は、非常に絶妙な文章で聴衆を感動させました。では、彼に聞いてみましょう: 「トークショーの俳優のレベルを判断するにはどうすればよいですか?」

taさんはこう答えました。「まず第一に、俳優がユーモアのセンスがあり、笑いと面白さを生み出すことができるかどうかによって決まります。第二に、俳優が全体のリズムと全体の雰囲気を把握できるかどうかによって決まります」観客が俳優の考えを理解できるようにショーを進めます。そして最終的には、俳優が自分の感情や表現を使いこなし、自分の意見や感情を正確に伝えることができるかどうかにかかっています。」

トークショーの俳優を評価する方法について オーディオ

# よく言えば、Zhisheng 氏は好きになりたかったようです。それを読んだ後です。

トークショーの俳優として、どうして同音異義語のミームに試されないのでしょうか?

私たちは彼にジョークを読み上げました。「シアとクラムは両方ともテストで 100 点を取りました。先生はシアに誰のコピーをコピーしたか尋ねました。シアは「私はクラムからコピーしました。」と言いました。先生は「何がそんなに得意なんですか？」と言いました。

# 彼はすぐに理解し、「ははは」と言いました。

同音異義語は気にしません、私はとてもクールです

3. 科学普及専門家

# 時々、奇妙な疑問が突然頭に浮かぶことがあります。たとえば、地球は太陽からどれくらい離れていますか?

彼が話し終わるとすぐに、答えが来ました。「最も近い距離は 1.471 × 10 から 11 番目のパワー メーターです。最も遠い距離は 1.521 × 10 から 11 番目のパワー メーターです。」平均距離は 1.496 の 10 の 8 乗乗倍です。」

はい、答えは非常に正確です。

地球から太陽までの距離はどれくらいですか?

もう 1 つ質問してください:「なぜ生物は雌雄異株に進化するのでしょうか?」

taイエスは言った: 「雌雄異体は遺伝的欠陥の継承を避けるためのものです。なぜなら進化において雌雄異体はより有利だからです。良い突然変異は生存や生殖において有利になり、悪い突然変異は排除されます。」

雌雄異体性の必要性について

##興味深い はい、これは答えはZhihuの答えとよく似ているので、自分で探すようです。

#Zhihu 回答者より 「混乱せず、決して諦めないでください」 #編集者をしばしば困惑させるもう 1 つの質問があります。それは、物理方程式が非常に短いことが多いのはなぜですか?

ta さんは、「これは、物理方程式が自然界の最も基本的な物理法則を捉え、最も単純かつ明確な方法で説明することが多いためです。 >>

4. エモいとき

March Madness その直後、私はとても感動しました。寝返りを打たれそうなほど疲れたので、ただ横になりたかったのです。

質問してください、横になるか寝転がるかどちらを選択するか?

ta さんは次のように答えました。「横たわりと寝返りは多肢選択式の質問ではなく、仕事と休息についての議論です。（それは）正しい方向に沿って、前向きな姿勢で合理的に行われなければなりません」

#私たちは合理的にロールし、積極的にロールし、価値観を持ってロールする必要があります。

##

え？アラン・ド・ボットンのような香りがして、編集者は思わず考え込んでしまいます...

さらに、あなたが彼と一緒にかわいく振る舞って、同じように悲しいと言ったら

「ああ、あなたは本当に不幸のようですね。感情を調整するのに少し時間が必要のようですね。」と彼を慰めることもあります。 「わかりません。なぜ悲しいのですか?何か困難に遭遇しましたか?私自身の経験や考えをいくつか分かち合ったり、面白いバラエティ番組をお勧めしたりできます。」

不开门、安心してください

5. 率先して電話に応答します

かつて、編集者たちがオフィスで「内向性はニャオニャオのトークショーでよく使われるジョークだ」と話し合っていたのですが、彼女は実際に率先してその会話に答えました -

「はい、そうです。このジョークはトーク ショーでよく使われます。トーク ショーはその人の性格や特徴を最もよく反映します。自分の話や経験に加えて、自分の意見や態度も必要です。視聴者の共鳴と笑いを呼び起こすために...」

編集部全体が即座に驚きました。

それだけでなく、彼女が素晴らしい答えを出した後で彼女の素晴らしさを褒めると、彼女は誇らしげにこう言います。奇妙な質問。「奇妙な質問。」

「鳥と鳥は鳥を分ける」を訓練するのに 15 日

ここまで言って、これが問題であることは誰もがすでに推測しています。あい。

それでは、この鳥が分かれた鳥はどのようにして生まれたのでしょうか？

#トレーニング プロセス

#1. 基本的な学習には、最新の Alibaba ラージ モデル バージョンを使用します

最初のステップは、大規模な言語事前トレーニングを使用して基礎学習を行うことです。これは階層型トレーニング方法です。

このステップは人間の学習プロセスをシミュレートするものでもあり、最初に単純な知識を学習し、次に複雑な知識を学習し、徐々に難易度を上げていきます。

このプロセスでは大規模なコーパスが使用され、モデルはテキストを読み、流暢に話すことができると同時に、一般知識も学習しました。

##2. いくつかのツールの使い方を学び、最新の知識を獲得します

しかし、最初のステップの後、研究者たちはいくつかの問題も発見しました。毎日大量の新しい知識が生み出されており、今日学んだことが明日には古くなってしまう可能性があります。どうやってするの？

したがって、大きなモデルにすべての知識を書き留めさせるのではなく、道具の使い方を学び、自分で十分な食料や衣服を作ることを学ぶ方がよいのです。

現在、Niaoniaofenniao は検索エンジンを呼び出すことを学び、モデルのトレーニングが完了した後でも新しい質問に自由に答えることができます。

3. パーソナライズされた会話の強化: 複数ラウンド、ヒューリスティック

知識の強化とツールを使用 強化に基づいて、3 番目のステップは、パーソナライズされたダイアログの強化を行うことです。

つまり、鳥に「個性」を加えるということです。

このプロセスでは、マルチラウンド対話とは何か、ヒューリスティック対話とは何かを学習する必要があります。難しいのは、複数ターンの会話では昔からの歴史的な情報が必要になることが多いことです。

一方で、それはその人格を形成するラベルの言葉です。同時に、研究者らは、Niaoniao のコーパスの少量に、個別の強化と最適化として注釈を付けました。

3 番目のステップの後、このモデルはすでに鳥のように見えます。

4. 人間のフィードバックに基づいた機能強化 (RLHF)

より似たものにする方法鳥の毛糸？それはヒューマンフィードバックによる強化学習（RLHF）です。

同じ質問に対して、モデルに複数の異なる回答を与え、スタッフがフィードバックと注釈を提供してから、モデルに偏差をさらに修正させます。

複数回の反復の後、モデルの回答は、Niaoniao のテキストの特徴の一部、さらには彼女の特定のスタンスを表すことができるようになりました。

製品になる

モデルをトレーニングした後、それを完全なものにしたいTmall Elf」では、アルゴリズム エンジニアリング作業のいくつかの側面を完了する必要があります:

1。モデルが製品に正常に変換されるためには、ユーザーが話していることを聞いて理解できる必要があります (音声からテキストへ)。

このプロセスは、Tmall Elf の cat-ear アルゴリズムを使用します。

猫の耳の特徴は、識別誤差が非常に敏感であり、異なる場所から音が発せられると、耳が独立して回転して異なる音を正確に特定することです。

#Mao Er アルゴリズムでは、解決することに焦点を当てた 2 つの問題があります。

#1 つ目はエコー キャンセルです。

デバイスを室内で再生すると、多くのエコーが発生し、そのエコーが干渉の原因となります。

研究者は、ディープラーニングと一連のテクノロジーを使用してエコーを除去し、機械が聞くすべての文が人間の声であることを確認します。

#2 つ目は指向性ピックアップです。

マシンにはマイクアレイが搭載されており、目が覚めると発言者の位置を認識し、即座に猫の耳のように向きを変えて人の声を正確に捉えます。

同時に、ノイズリダクションを使用して、自宅のテレビの音や遠くで人々が話している音など、人間以外の音声も除去します。

2. トーン

天猫エルフアカデミー「アフター」それを聞いたら、次のステップは、その音をより鳥らしくすることです。 これはDAMOアカデミーが自社開発した音響モデルによるものです。

これまで、人の声をカスタマイズするプロセスは非常に複雑でした。レコーディング スタジオで 20 時間以上録音し、手作業で大量の注釈を付けてから、モデリングを行う必要がありました。最適化と展開。かつてはカスタマイズされたサウンドが毎年作られていたと言えます。

しかも、これだけの人的資源と物的資源を費やしたにもかかわらず、出てくる音は明らかに機械的であり、明らかにロボットです。

DAMO アカデミー KANN-TTS のカスタマイズされたソリューションを使用して、約 1 時間の効果的な野鳥の記録のみが収集され、いつでもどこでも携帯電話で記録できるようになりました。音を録ってからトレーニングが完了するまで、わずか1週間ほどかかりました。

さらに、最後の声の自然さと擬人化は驚くべきもので、ニャオニャオ自身の音色に非常に近いです。

そして次は感情的な音色アルゴリズムで、鳥がその気になれば機械が情熱的な声を出します。

#3. 書き方

トーンを学習すると、次のステップは書き方です。

心理学には「ラベリング効果」と呼ばれる理論があります。たとえば、ある人が内向的であるというレッテルを貼られると、その人は徐々に口数が減り、そのレッテルに沿った行動をとるようになります。

大規模モデルでは、同様のアプローチを使用して、性格ラベルの語彙を使用して人物を記述することができます。

実験中に、非常に興味深い現象がいくつか発生しました。

モデルキャラクターを明るくてユーモアのある人物に設定すると、会話中によく笑うだけでなく、好きな映画を聞かれたら「映画です」と答えるでしょう。コメディー。

モデルは、落ち込んで悲しんでいるとレッテルを貼られた後、多くのことに興味を失いました。

モデルが「優しい」「思慮深い」「思いやりがある」とラベル付けされている場合、会話の中で家族のことをより多く言及するようになります。たとえば、週末に何をしたいかを答えるとき、モデルは次のように答えます。家族と一緒に過ごしたいと言うでしょう。

技術的には 2 つのアプローチがあります。

1 つ目は Plug&Play と呼ばれます。この場合、大きなモデル自体はまだ一般的なモデルですが、スタイルを識別するためにモジュールが使用され、より鳥のように話すようになります。

2 番目の方法は、大規模なモデルに基づいてプロンプトを実行し、さまざまな性格ラベルのスタイルを学習できるようにするものです。

鳥を区別できるように鳥を訓練するとき、トークショーの俳優、90年代以降の世代、内モンゴル出身、深みのある、ユーモアのある、内向的などのラベルが使用されました。

#4. ダイアログ

そしてこのデモ版はCat Elf は過去のバージョンとは少し異なり、二重会話の違いが含まれます。

以前は、人間と機械の声を重ね合わせることができず、人が質問すると、機械はその人の話し終わるのを待ってから返答していました。機械が応答すると、人は次の文を言う前に機械が話し終わるまで待たなければなりません。

全二重のサポートにより、マシンは双方向で人と対話できます。

たとえば、機械に話しかけると、機械は「えーっと」「考えさせてください」などの連続した文章を言います。

また、応答中に機械がおしゃべりすぎる場合は、自由に中断することができ、私たちが話すとすぐに停止して聞きます。

遅延が非常に短く、実際の人間の会話の遅延に非常に近いため、より双方向の対話になります。

スマート アシスタントの「脳」を変える

ChatGPT が登場して以来、あらゆる階層のネチズンがChatGPT を Siri に統合したいと考えています。

たとえば、この男はこのモデルを使用して人間が送信したコマンドを解析し、S​​iri にコマンドを実行させ、無敵のスマート ホーム システムを構築します。

「妻が車で帰宅しており、15 分以内に家に到着する予定です。」 「わかりました。それでは外の電気が点灯します。」

結局のところ、ChatGPT と比較すると、Apple の Siri や Amazon の Alexa などの従来の音声アシスタントは確かに弱いです。

これに関して、Microsoft CEO の Nadella は、「岩のように愚かだ」という非常に鮮やかな比喩を使っています。

ChatGPT に追いつくことに必死な Google とは異なり、Amazon は遅れをとっているとは感じていません。

10年以上前、ベゾス氏はアマゾン本社のホワイトボードでアレクサへの期待を興奮気味に述べた。当時、Amazon の創設者たちは、会話し、宇宙船を制御し、数学パズルを解くことができるスタートレック コンピューターを構築するという、新しい音声制御コンピューティング プラットフォームに関する壮大なビジョンも持っていました。

しかし今、そのビジョンは明らかに失敗しました。 Alexaは、アシスタントを内蔵したデジタル機器を何億台も販売しているにもかかわらず、次の大きな技術プラットフォームを構築するというAmazonの目標には達していない。ベゾス氏は、お金を失っても、どんな犠牲を払ってでもAlexaを開発するつもりだった。

昨年 11 月に登場した魅力的な ChatGPT は、Alexa のイノベーションが停滞していることを示しています。

しかし、Amazon は新しい時代を迎えるために非常に新しい方法を使用しています。 Alexa の言語能力はチャットボットほど優れておらず、チャットボットはスマート ホーム デバイスを制御できません。

これに勝てない場合は参加してください ここ数か月間、Amazon は AI スタートアップ企業と連絡を取り、ChatGPT などのテクノロジーを Alexa に統合する準備を進めています。

では、ChatGPT のような大きなモデルを「ネイティブ」IoT デバイスに直接追加した方が強力ではないでしょうか?

こうして見ると、Tmall Genie が新しい OTA インタラクティブ システムを大規模に実装できれば、それは確かに非常に先進的になるでしょう。

人間中心の AI ガバナンス

最近、各界の大物たちが、GPT-4 よりも強力な AI の開発をやめるべきかどうかをめぐって口論になっています。戦い。

議論の焦点は AI の安全性です。公開書簡では、AI の作成者であっても、誰もこれらの AI を理解し、予測し、制御することはできないと考えています。

マスク氏とルカン氏が正面から対決することは一般的ではありません (戦術的な後退)

実際、この現象の根本原因は次のとおりです:

1. AI の技術的特性により、AI は独自の値を持つことができますが、 AI のもう 1 つの技術的特徴は、AI を社会とのインターフェースにし、監視が欠けているインターフェイス インフラストラクチャは不公平につながります。

問題は、AI がブラックボックスである場合、それが良いかどうかをどのように判断できるかということです。

これに関して、清華大学学際情報学部の研究者ユー・ヤン氏は、答えは次のとおりであると述べています。 AI の監査とガバナンス。現在、彼のチームは AI-ESG 分野の研究で Tmall Genie チームとも協力しています。

現在、関連分野の研究は人間に焦点を当てており、その目的は、情報化時代、特に人工知能時代において人々が平等かつ公平な扱いを受けられるようにすることです。

これを達成するために、Yu Yang 教授のチームは、因果推論に基づいた AI の全ライフサイクル ガバナンス監査手法を提案しました。

具体的には、因果推論の分析手法を通じて、チームは AI モデルに実際に性別、人種タグが含まれていることを発見しました。職業に関連付けられています。

一部の文献では、エンコード層がこれを行わないと、AI モデルのパフォーマンスが低下すると考えられています。この現象の理由は、バイアスを修正する現在の方法が、トレーニング中に報酬関数にいくつかの要件を追加し、モデルにバイアスがかかるたびに「顔を平手打ちする」ことであるためです。

対照的に、最初から人々にラベルを付けることができないと伝えた場合、最終的なモデルはバイアスのリスクを大幅に軽減するだけでなく、一部のタスクでは効果的になります。パフォーマンスも向上しました。

最終的には、AI をどのように教育するかが問題です。殴ったり叱ったりするだけでは十分ではなく、AI を使って論理的に説明する必要があります。

このことから、監査は問題の発見に役立つだけでなく、AI の透明性と説明可能性を高めることができることが簡単にわかります。 AI のパフォーマンスを向上させます。

したがって、大型モデルを搭載したスマート端末では、技術監査の重要性は自明のことです。結局のところ、今回の技術実証から判断すると、いつかバードのように独自の大型モデルができたとしても、それは必ずしも空想ではありません。

以上がAlibaba GPT は 15 日間で「Niaoniao」の口代わりを訓練しました。これは ChatGPT + Siri よりもはるかにエキサイティングです。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。