《永劫無間》手遊正式開服！揭秘語音AI隊友背後的黑科技｜高通驍龍遊戲技術賞2024演講實錄

7月25日，備受期待的《永劫無間》手游正式開啟公測，該手游預下載階段便榮登App Store免費總榜TOP1！遊戲中全新引入的語音AI隊友功能，迅速吸引了廣大玩家的注意與好評。

1. 網易首創AI Copilot隊友

這一創新玩法由網易24工作室聯合網易伏羲AI實驗室共同研發，作為全球首款遊戲Copilot隊友，該功能依託於最前沿的AI大模型推理技術，成功塑造了與真實玩家體驗相媲美的AI隊友。

2. 功能亮點

AI隊友不僅能夠自主執行跑圖、搜尋物資、參與戰鬥、跑圈等戰術動作，更能在戰鬥中提供輔助和救援，透過自然語音與玩家進行雙向無縫溝通。

《永劫無間》手游上線當日，網易伏羲AI 技術負責人睿風應邀在“2024 驍龍遊戲技術賞”上發表演講，首次公開分享《永劫無間》手遊中語音AI 隊友的技術探索和應用成果。該活動為高通公司循例在 ChinaJoy 前夕舉辦的年度盛會，今年高通公司攜手網易伏羲等產業合作夥伴，共同探討行動技術創新如何賦能前沿數位娛樂體驗。

因演講當天恰逢《永劫無間》手遊公測上線，睿風無法到達現場，所以進行現場連線。

以下是他的演講實錄：

大家好，我是來自網易伏羲的睿風，很高興能夠參加“驍龍遊戲技術賞”。

（網易伏羲AI技術負責人睿風現場連線分享畫面）

網易伏羲成立於2017年9月份，是國內第一個面向遊戲行業進行AI研究的人工智能實驗室，我們以「創建人工智慧與遊戲交叉領域的世界一流實驗室」為宗旨，運用人工智慧尖端技術為玩家創造新一代的遊戲體驗，同時也藉助遊戲平台的大量數據和模擬環境，推動人工智慧技術的發展。

自2017年成立至今，網易伏羲已經在多款遊戲中落地大量的AI玩法。例如我們在《逆水寒》端遊中首創AI照片捏臉玩法和智能養育系統，在《永劫無間》端遊中，我們上線了基於強化學習技術的噩夢人機玩法，利用AI反外掛技術定位和處罰違規玩家確保公平遊戲環境。

去年我們在現象級遊戲《逆水寒》手遊中落地了大量創新的AI應用，包括智能NPC、文字捏臉、大宋頭條、UGC劇組模式等等，打造了全球首款AI遊戲，也獲得了玩家們的高度認可和歡迎。

今年，我們在今天正式上線的《永劫無間》手遊中，率先發布了全球首創的語音AI隊友玩法。在這個玩法中，玩家可以邀請智慧AI隊友進行一場完整的遊戲體驗。玩家可以透過語音互動的方式，直接跟AI溝通。

這個AI隊友首先能聽懂指揮，搜裝送裝、團戰配合樣樣精通；其次能實時觀察戰況，匯報關鍵信息並答疑解惑；此外AI隊友還具備強大的戰鬥能力，博弈強、配合好；最後該AI隊友還能自由交流，給予玩家較高的情緒價值。

為了能實現這個能聽、能說還能做的AI隊友，網易伏羲基於多年的技術積累，結合語音識別、語義理解、文本生成、語音合成、強化學習、模仿學習等多項AI技術，解決了大量的技術難題。為了實現跟真人隊友幾乎無異的語音互動體驗，我們為這個玩法設定了幾個技術指標。

首先相比於喚醒詞或手動按鈕觸發的交互方式，全開麥的即時語音交互對我們提出了更多的技術挑戰，其中最核心的就是噪音檢測和非交互內容識別的能力，為了盡可能降低誤觸率，我們使用網易伏羲的有靈眾包平台，在開發期就採用自動數據閉環方式，透過持續採集各種機型和專案成員們的真實體驗數據，不斷優化模型效果。

其次，為了讓AI能夠精確識別玩家指令並做出最合理的行為決策，我們不僅引入了自然語言理解技術來提升指令識別能力，而且採用了基於指令的強化學習技術，讓模型能夠根據指令和即時的戰場狀態，做出最合理的行為決策，實現了盡可能遵循玩家指令的基礎上，又保持較高強度的遊戲能力。

마지막으로 매우 낮은 인터랙티브 경험 속도를 달성하기 위해 우리는 많은 엔지니어링 최적화 작업을 수행했습니다. 현재 가장 짧은 온라인 실시간 응답 시간은 300ms 이내의 음성 및 행동 응답을 달성할 수 있으며, 가장 긴 응답 시간은 약 1초로 제어할 수 있어 의사소통이 지연되지 않고 적시에 협력할 수 있습니다.

앞서 언급했듯이 이 음성 AI 팀원 게임플레이는 지연 시간에 매우 민감합니다. 사용자에게 더욱 극단적인 대화형 경험을 제공하기 위해 Fuxi는 Qualcomm과 심층 협력을 진행하여 일부 AI 추론을 클라우드 GPU에서 3세대로 마이그레이션했습니다. Snapdragon 8 모바일 플랫폼의 NPU.

왜 최종 추론이 필요한가요? 첫 번째는 클라우드 기반 추론과 비교할 때, 장치 측 추론은 특히 네트워크 상태가 좋지 않은 지역의 플레이어에게 발생하는 시간 지연을 절약할 수 있다는 것입니다. 이 플레이어 그룹에게 더 나은 게임 경험을 제공합니다. 둘째, 회사 차원에서 AI 추론이 클라우드에서 장치 측으로 마이그레이션되어 플레이어의 단말 컴퓨팅 성능을 최대한 활용하고 서비스 운영 비용을 절감할 수 있습니다. 우리는 현재 클라우드의 GPU 서비스가 상대적으로 비싸다는 것을 알고 있습니다. 많은 AI 서비스는 애플리케이션에 일부 사용 제한을 적용하거나 플레이어가 비용을 지불하도록 허용하여 플레이어가 AI 게임플레이를 자유롭게 경험할 수 있도록 합니다. .

현재 모바일 게임 "Eternal Tribulation"의 AI 팀메이트 게임 플레이에서 NetEase Fuxi와 Qualcomm은 일부 AI 기능을 엔드 측으로 마이그레이션했으며 현재 더욱 심층적인 협력을 진행하고 있습니다. 앞으로는 LLM(대형 언어 모델), TTS(음성 합성) 및 기타 기술을 포함한 더 많은 AI 기능을 모바일 단말기에 적용하여 플레이어에게 더 나은 게임 경험을 제공할 수 있기를 바랍니다.

以上是《永劫無間》手遊正式開服！揭秘語音AI隊友背後的黑科技｜高通驍龍遊戲技術賞2024演講實錄的詳細內容。更多資訊請關注PHP中文網其他相關文章！