Le jeu mobile 'Eternal Tribulation' est officiellement lancé ! Révéler la technologie noire derrière les coéquipiers de l'IA vocale｜ Transcription du discours des Qualcomm Snapdragon Gaming Technology Awards 2024

Le 25 juillet, le très attendu jeu mobile "Eternal Tribulation" a officiellement lancé sa version bêta publique. Lors de la phase de pré-téléchargement, le jeu mobile s'est classé TOP1 sur la liste gratuite de l'App Store ! La nouvelle fonction de coéquipier d'IA vocale dans le jeu a rapidement attiré l'attention et les éloges de la majorité des joueurs.

1. Le premier copilote IA de NetEase

Ce gameplay innovant a été développé conjointement par NetEase 24 Studio et NetEase Fuxi AI Lab. En tant que premier copilote de jeu au monde, cette fonctionnalité s'appuie sur le grand modèle d'IA le plus avancé. La technologie d'inférence a réussi à créer des coéquipiers IA comparables à l'expérience de vrais joueurs.

2. Points forts des fonctionnalités

Les coéquipiers de l'IA peuvent non seulement effectuer indépendamment des actions tactiques telles que parcourir des cartes, rechercher des fournitures, participer à des batailles, courir des cercles, etc., ils peuvent également fournir une assistance et un sauvetage pendant les batailles, et avoir communication bidirectionnelle transparente avec les joueurs via une communication vocale naturelle.

Le jour du lancement du jeu mobile "Eternal Tribulation", Ruifeng, directeur technique de NetEase Fuxi AI, a été invité à prononcer un discours lors des "2024 Snapdragon Game Technology Awards", partageant publiquement pour la première fois l'exploration technique de l'IA vocale. coéquipiers dans les résultats du jeu mobile et de l'application "Eternal Tribulation". Cet événement est un événement annuel organisé par Qualcomm à la veille de ChinaJoy. Cette année, Qualcomm s'est associé à des partenaires industriels tels que NetEase Fuxi pour discuter de la manière dont l'innovation technologique mobile peut permettre des expériences de divertissement numérique de pointe.

Le jour du discours coïncidant avec le lancement de la version bêta publique du jeu mobile "Eternal Tribulation", Ruifeng n'a pas pu arriver sur les lieux, il a donc établi une connexion sur place.

Ce qui suit est la transcription de son discours :

Bonjour à tous, je m'appelle Ruifeng de NetEase Fuxi et je suis très heureux de participer au "Snapdragon Game Technology Award".

(Ruifeng, responsable de la technologie IA chez NetEase Fuxi, a partagé la scène en ligne)

NetEase Fuxi a été créée en septembre 2017. Il s'agit du premier laboratoire d'intelligence artificielle en Chine à mener des recherches sur l'IA pour l'industrie du jeu. dans le but de « créer un laboratoire de classe mondiale à l'intersection de l'intelligence artificielle et des jeux », il utilise une technologie d'intelligence artificielle de pointe pour créer une nouvelle génération d'expérience de jeu pour les joueurs. Il utilise également l'environnement massif de données et de simulation du. plateforme de jeu pour promouvoir le développement de la technologie de l’intelligence artificielle.

Depuis sa création en 2017, NetEase Fuxi a implémenté un grand nombre de gameplay d'IA dans plusieurs jeux. Par exemple, nous avons été les pionniers du gameplay de pincement de visage photo AI et du système parental intelligent dans le jeu PC "Ni Shui Han". Dans le jeu PC "Eternal Calamity", nous avons lancé un gameplay homme-machine cauchemardesque basé sur la technologie d'apprentissage par renforcement, l'utilisation de la technologie anti-triche de l'IA pour localiser et punir les joueurs fautifs garantit un environnement de jeu équitable.

L'année dernière, nous avons implémenté un grand nombre d'applications d'IA innovantes dans le jeu mobile phénoménal "Ni Shuihan", notamment des PNJ intelligents, le pincement de texte, les titres de Da Song, le mode équipage UGC, etc., créant ainsi le premier jeu d'IA au monde, et aussi il a été hautement reconnu et bien accueilli par les joueurs.

Cette année, nous sommes les premiers à lancer le premier gameplay Voice AI Teammate au monde dans le jeu mobile "Eternal Calamity" qui a été officiellement lancé aujourd'hui. Dans ce gameplay, les joueurs peuvent inviter des coéquipiers intelligents IA pour une expérience de jeu complète. Les joueurs peuvent communiquer directement avec l'IA grâce à une interaction vocale.

Ce coéquipier de l'IA peut d'abord comprendre les commandes, être compétent dans la recherche et la livraison d'équipement et dans la coordination des combats en équipe ; deuxièmement, il peut observer la situation de combat en temps réel, rapporter des informations clés et répondre aux questions en outre ; ​coéquipier a également de fortes capacités de combat et est fort dans le jeu. Enfin, les coéquipiers de l'IA peuvent communiquer librement, donnant aux joueurs une grande valeur émotionnelle.

Afin de réaliser ce coéquipier d'IA capable d'écouter, de parler et d'agir, NetEase Fuxi s'appuie sur des années d'accumulation de technologies, combinées à plusieurs technologies d'IA telles que la reconnaissance vocale, la compréhension sémantique, la génération de texte, la synthèse vocale, l'apprentissage par renforcement et l'imitation. apprentissage, Un grand nombre de problèmes techniques ont été résolus. Afin d'obtenir une expérience d'interaction vocale presque identique à celle de vrais coéquipiers, nous avons défini plusieurs indicateurs techniques pour ce gameplay.

Tout d'abord, par rapport aux méthodes d'interaction déclenchées par des mots de réveil ou des boutons manuels, l'interaction vocale en temps réel de Quankaimai nous pose des défis plus techniques, dont le cœur est la capacité de détection du bruit et de reconnaissance de contenu non interactive. pour maximiser Afin de réduire le taux de faux succès, nous utilisons la plate-forme de crowdsourcing intelligente de NetEase Fuxi et adoptons une méthode automatique de données en boucle fermée pendant la période de développement pour optimiser en permanence l'effet du modèle en collectant en permanence des données d'expérience réelles auprès de divers modèles et membres du projet. .

Deuxièmement, afin de permettre à l'IA d'identifier avec précision les instructions des joueurs et de prendre les décisions comportementales les plus raisonnables, nous avons non seulement introduit une technologie de compréhension du langage naturel pour améliorer les capacités de reconnaissance des instructions, mais nous avons également adopté une technologie d'apprentissage par renforcement basée sur les instructions pour permettre au modèle de agir selon les instructions et l'état du champ de bataille en temps réel, en prenant les décisions comportementales les plus raisonnables, en obtenant une capacité de jeu de haute intensité tout en suivant autant que possible les instructions du joueur.

最後に、非常に低いインタラクティブエクスペリエンスの速度を達成するために、私たちはエンジニアリングの最適化作業を数多く行いました。現在、オンラインのリアルタイム応答時間は最短で 300 ミリ秒以内の音声および動作応答を達成でき、最長の応答時間でも約 1 秒で制御できるため、通信に遅延がなく、連携がよりタイムリーになります。

前述したように、この音声 AI チームメイトのゲームプレイは遅延に非常に敏感です。ユーザーにより究極のインタラクティブな体験を提供するために、Fuxi はクアルコムとの綿密な協力を実施し、一部の AI 推論をクラウド GPU から第 3 世代に移行しました。 Snapdragon 8 モバイル プラットフォームの NPU 上。

なぜエンドサイドの推論を行う必要があるのでしょうか? 1 つ目は、低遅延です。クラウドベースの推論と比較して、デバイス側の推論は、特にネットワーク状況が劣悪な地域のプレーヤーにとって、ネットワーク送信によって生じる時間遅延を節約できます。この部分の遅延削減は非常に大きなメリットをもたらします。このグループのプレーヤーにより良いゲーム体験をもたらします。第二に、企業レベルでは、AI 推論がクラウドからデバイス側に移行され、プレイヤーの端末のコンピューティング能力を最大限に活用し、サービス運営コストを削減できます。現在のクラウドの GPU サービスは比較的高価であることがわかっています。コストを抑えるために、多くの AI サービスはアプリケーションに使用制限を課すか、プレーヤーが AI ゲームプレイを自由に体験できるようにすることをデバイス上の推論に許可します。 。

現在、モバイルゲーム「Eternal Tribulation」の AI チームメイト ゲームプレイにおいて、NetEase Fuxi と Qualcomm は一部の AI 機能をエンド側に移行し、より緊密な協力を行っています。将来的には、大規模言語モデル (LLM)、音声合成 (TTS)、その他のテクノロジーを含む、より多くの AI 機能がモバイル端末に適応されて、プレイヤーにより良いゲーム体験を提供できることを期待しています。

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!