モバイルゲーム「Eternal Tribulation」正式サービス開始！音声AIチームメイトの背後にあるブラックテクノロジーを明らかに｜Qualcomm Snapdragon Gaming Technology Awards 2024スピーチトランスクリプト

7 月 25 日、待望のモバイル ゲーム「Eternal Tribulation」が正式にパブリック ベータ版を開始し、事前ダウンロードの段階で、このモバイル ゲームは App Store の無料リストでトップ 1 にランクされました。ゲームに新たに導入された音声 AI チームメイト機能は、すぐに大多数のプレイヤーの注目と賞賛を集めました。

1. NetEase の最初の AI Copilot Teammate

この革新的なゲームプレイは、NetEase 24 Studio と NetEase Fuxi AI Lab によって共同開発されました。世界初のゲーム Copilot Teammate は、最先端の AI 大型モデルに依存しています。推論テクノロジーは、実際のプレイヤーの経験に匹敵する AI チームメイトを作成することに成功しました。

2. 機能のハイライト

AI チームメイトは、マップの実行、物資の検索、戦闘への参加、サークルの実行などの戦術的アクションを独立して実行できるだけでなく、戦闘中に支援や救助を提供することもできます。自然な音声通信によるプレイヤーとの双方向のシームレスなコミュニケーション。

モバイルゲーム「Eternal Tribulation」の発売日に、NetEase Fuxi AI テクニカル ディレクターの Ruifeng 氏が「2024 Snapdragon Game Technology Awards」でのスピーチに招待され、音声 AI の技術的探求を初めて公に共有しました。 「Eternal Tribulation」モバイルゲームおよびアプリケーションのチームメイトの結果。このイベントは、ChinaJoy の前夜にクアルコムが開催する毎年恒例のイベントで、今年はクアルコムが NetEase Fuxi などの業界パートナーと協力して、モバイル テクノロジーのイノベーションが最先端のデジタル エンターテイメント エクスペリエンスをどのように強化できるかについて話し合いました。

スピーチの日はモバイルゲーム「Eternal Tribulation」のパブリックベータ版のリリースと重なったため、Ruifeng 氏は現場に到着できず、現地で接続しました。

以下は彼のスピーチの書き起こしです:

皆さんこんにちは、NetEase FuxiのRuifengです。「Snapdragon Game Technology Award」に参加できることをとても嬉しく思います。

(NetEase Fuxi の AI テクノロジー責任者 Ruifeng 氏がその様子をオンラインで共有しました)

NetEase Fuxi は 2017 年 9 月に設立されました。これは、ゲーム業界向けに AI 研究を行う中国初の人工知能研究所です。 「人工知能とゲームの交差点に世界クラスの研究所を作る」ことを目的としており、最先端の人工知能技術を使用してプレイヤーに新世代のゲーム体験を提供します。また、膨大なデータとシミュレーション環境も使用します。人工知能技術の開発を促進するゲームプラットフォーム。

2017 年の設立以来、NetEase Fuxi は複数のゲームに多数の AI ゲームプレイを実装してきました。たとえば、PC ゲーム「Ni Shui Han」では、AI 写真による顔の挟み込みゲームプレイとインテリジェントな子育てシステムを開拓し、PC ゲーム「Eternal Calamity」では、強化学習技術に基づいた悪夢のような人間対機械のゲームプレイを開始しました。 AI アンチチート技術を使用して違反プレイヤーを見つけて罰することで、公平なゲーム環境が保証されます。

昨年、私たちは驚異的なモバイルゲーム「Ni Shui Han」に、スマート NPC、テキストの顔のピンチ、Da Song の見出し、UGC クルー モードなどを含む多数の革新的な AI アプリケーションを実装し、世界初の AI ゲームを作成しました。 、また、プレイヤーから高く評価され、歓迎されています。

今年は、本日正式にリリースされたモバイル ゲーム「Eternal Calamity」で世界初の音声 AI チームメイト ゲームプレイをリリースします。このゲームプレイでは、プレイヤーはインテリジェントな AI チームメイトを招待して、完全なゲーム体験を得ることができます。プレイヤーは音声対話を通じて AI と直接通信できます。

まず第一に、この AI チームメイトはコマンドを理解でき、装備の検索と配達、チーム戦での調整に熟練しています。次に、戦闘状況をリアルタイムで観察し、重要な情報を報告し、質問に答えることができます。 AI チームメイトは強力な戦闘能力、強力なゲームスキルも備えており、うまく協力し、最終的に AI チームメイトは自由にコミュニケーションでき、プレイヤーに高い感情的価値を与えます。

この聞き、話し、行動できる AI チームメイトを実現するために、NetEase Fuxi は長年の技術蓄積に基づいて、音声認識、意味理解、テキスト生成、音声合成、強化学習、模倣などの複数の AI テクノロジーを組み合わせました。学習し、多くの技術的問題が解決されました。実際のチームメイトとほぼ同じ音声インタラクション体験を実現するために、このゲームプレイに対していくつかの技術指標を設定しました。

まず第一に、ウェイクワードや手動ボタンによってトリガーされるインタラクション方法と比較して、Quankaimai のリアルタイム音声インタラクションは、より多くの技術的な課題を私たちにもたらします。その中心となるのは、ノイズ検出と非インタラクティブなコンテンツ認識の機能です。誤ヒット率を減らすために、NetEase Fuxiのインテリジェントクラウドソーシングプラットフォームを使用し、開発期間中に自動データ閉ループ方式を採用し、さまざまなモデルやプロジェクトメンバーから実際の経験データを継続的に収集することでモデル効果を継続的に最適化します。 。

第二に、AI がプレーヤーの指示を正確に識別し、最も合理的な行動決定を行えるようにするために、自然言語理解テクノロジーを導入して指示認識能力を向上させるだけでなく、モデルが指示とリアルタイムの戦場の状況に従って行動し、最も合理的な行動決定を下し、可能な限りプレイヤーの指示に従いながら、高強度のゲーム能力を実現します。

最後，為了達到極低的互動體驗速度，我們做了大量的工程最佳化工作。目前線上的即時響應時長最短可以實現300ms內的語音和行為響應，最長響應時長也能控制1s左右，從而實現了讓交流不延遲，讓配合更及時。

正如前面提到的，這個語音AI隊友玩法對於時延非常敏感，為了給用戶帶來更極致的交互體驗，伏羲跟高通進行了深入合作，將部分AI推理從雲端GPU遷移到第三代驍龍8移動平台的NPU上。

為什麼我們要去做端側推理？首先就是低時延，相較於基於雲端的推理，端側推理可以節省網路傳輸帶來的時間延遲，特別是對於一些網路條件不太好的地區的玩家，這部分的時延降低帶來的收益是非常可觀的，從而為這部分玩家帶來更好的遊戲體驗。其次從公司層級來說，AI推理從雲端遷移到端側，可以充分利用玩家的終端算力，降低服務運作成本。我們知道目前雲端的GPU服務都是比較貴的，為了控製成本，很多AI服務都會對應用做一些使用限製或讓玩家採用付費使用的方式，而端側推理可以讓這部分玩家自由地體驗AI玩法。

目前在《永劫無間》手遊的AI隊友玩法中，網易伏羲跟高通已經遷移了部分AI能力到端側，目前正在做更多深入合作。我們預期未來可以將更多AI能力，包含大語言模型（LLM），語音合成（TTS）等技術適配到手機終端，為玩家帶來更好的遊戲體驗。

以上がモバイルゲーム「Eternal Tribulation」正式サービス開始！音声AIチームメイトの背後にあるブラックテクノロジーを明らかに｜Qualcomm Snapdragon Gaming Technology Awards 2024スピーチトランスクリプトの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。