光動嘴就能玩出原神！用AI切換角色，還能攻擊敵人，網友：“綾華，使用神裡流·霜滅”

說到這兩年風靡全球的國產遊戲，原神肯定是當仁不讓。

根據5月公佈的本年度Q1季手遊收入調查報告，在抽卡手遊裡《原神》以5.67億美金的絕對優勢穩穩拿下第一，這也宣告《原神》在上線短短18個月後單在手機平台總收入就突破30億美金（約RM130億）。

如今，開放須彌前最後的2.8海島版本姍姍來遲，在漫長的長草期後終於又有新的劇情和區域可以肝了。

不過不知道有多少“肝帝”，現在海島已經滿探索，又開始長草了。

寶箱總共182個1個摩拉箱（不計入）

長草期根本沒在怕的，原神區從來不缺整活兒。

這不，在長草期間，就有玩家用XVLM wenet STARK做了一個語音控制玩原神的專案。

例如，當說出“用戰術3攻擊中間的火史萊姆”時，鍾離先是一個套盾，凌華一個霰步後緊接著一個“失禮了”，團滅了4只火史萊姆。

同樣，在說出「攻擊中間的大丘丘人」後，迪奧娜長E套盾，凌華緊接著一個E然後3A一重漂亮地收拾掉了兩隻大丘人。

可以在左下方看到，整個過程都沒有用手進行任何操作。

文摘菌直呼內行，以後打本連手也能省了，並表示媽媽再也不用擔心玩原神玩出腱鞘炎了！

目前專案已經在GitHub上開源：

GitHub連結：

https://github.com/7eu7d7/genshin_voice_play

好好的原神，硬是被玩成了神奇寶貝

這樣的整活項目自然也是吸引到了不少原神長草玩家的目光。

例如有玩家就建議到，可以設計得更中二一點，直接用角色名加技能名，畢竟「戰術3」這樣的指令觀眾也無法第一時間知道，而「鍾離，使用地心」就很容易代入遊戲體驗。

更有網友表示，既然都能對怪指令，那是不是也可以對人物語音，比如「龜龜，使用霜滅」。

龜龜每日疑惑.jpg

不過，這麼這些指令怎麼看上去有股似曾相識的味道？

對此up主「薛丁格の彩虹貓」表示，喊技能的話語速可能會跟不上，攻擊速度會變慢，這才自己預設了一套。

不過像是一些經典隊伍，例如「萬達國際」「雷九萬班」的輸出手法倒也算是相對固定，預設攻擊順序和模式似乎也行得通。

當然除了玩梗之外，網友們也在集思廣益，提出了不少優化意見。

例如直接用“1Q”讓1號位角色放大招，重擊用“重”表示，閃避則用“閃”，這樣的話下達指令也能更簡單迅速一些，或許還能用來打深淵。

也有內行人玩家表示，這個AI似乎有點“不大理解環境”，“下一步可以考慮加上SLAM”，“實現360度的全方位目標檢測」。

up主表示，下一步要做“全自動刷本，傳送，打怪，領獎勵一條龍”，那似乎也還可以加一個自動強化聖遺物功能，歪了就把AI格式化了。

原神區硬核整活up主也出過「提瓦特釣魚指南」

正如文摘菌所說，原神區從不缺整活兒，而這位up主「薛丁格の彩虹貓」應該是其中最「硬核」的了。

從“AI自動擺放迷宮”，到“AI自動演奏”，原神出的每個小遊戲可以說是應AI盡AI了。

其中文摘菌也發現了「AI自動釣魚」計畫（好傢伙原來也是你），只需要啟動程序，提瓦特的魚全都能變成囊中之物。

原神自動釣魚AI由兩部分模型組成：YOLOX和DQN：

YOLOX 用於魚的定位和類型的識別以及魚竿落點的定位；

#DQN 用於自適應控制釣魚過程的點擊，讓力度落在最佳區域內。

此外，計畫也用到了遷移學習、半監督學習來進行訓練。模型也包含了一些使用opencv等傳統數位影像處理方法實現的不可學習部分。

專案網址：

https://github.com/7eu7d7/genshin_auto_fish

等3.0更新後還需要釣魚取得的“鹹魚弓”，就拜託你了！

那些把原神變成神奇寶貝的「神器」

作為一個嚴肅的人，文摘菌覺得也有必要給大家科普一下這次原神語音項目用到的幾個「神器」。

X-VLM是一種基於視覺語言模型（VLM）的多粒度模型，由圖像編碼器、文字編碼器和跨模態編碼器組成，跨模態編碼器在視覺特徵和語言特徵之間進行跨模態注意，以學習視覺語言對齊。

學習多粒度對齊的關鍵是優化X-VLM：1)透過結合邊框回歸損失和IoU損失，在給定關聯文字的圖像中定位視覺概念；2)同時，透過對比損失、匹配損失和掩碼語言建模損失，將文字與視覺概念進行多粒度對齊。

在微調和推理中，X-VLM可以利用學習到的多粒度對齊來執行下游的V L任務，而無需在輸入圖像中添加邊框註釋。

論文連結：

https://arxiv.org/abs/2111.08276

WeNet是一個面向生產的端到端語音辨識工具包，在單一模型中，它引入了統一的兩次two-pass (U2) 框架和內建運行時來處理串流和非串流解碼模式。

就在今年7月初的時候，WeNet推出2.0版本，並在4個方面進行了更新：

U2 ：具有雙向注意力解碼器的統一雙通道框架，包括從右到左注意力解碼器的未來上下文訊息，以提高共享編碼器的表示能力和重新評分階段的性能；

引入了基於n-gram的語言模型和基於WFST的解碼器，促進了富文本資料在生產場景中的使用；

設計了統一的上下文偏移框架，該框架利用用戶特定的上下文為生產提供快速適應能力，並在「有LM」和「無LM」兩大場景中提高ASR準確性；

設計了一個統一的IO來支援大規模資料進行有效的模型訓練。

從結果來看，WeNet 2.0在各種語料庫上比原來的WeNet實現了高達10%的相對辨識效能提升。

論文連結：https://arxiv.org/pdf/2203.15455.pdf

STARK是一種用於視覺追蹤的時空變換網路。基於由卷積主幹、編解碼器轉換器和bounding box預測頭組成的baseline的基礎上，STARK做了3點改進：

動態更新模板：以中間幀作為動態模板加入輸入中。動態範本可捕捉外觀變化，提供額外時域資訊；

score head：判斷目前是否更新動態範本；

訓練策略改進：將訓練分為兩個階段1）除了score head外，用baseline的損失函數訓練。確保所有搜尋影像包含目標並讓模板擁有定位能力；2）以交叉熵只優化score head，此時凍結其他參數，以此讓模型擁有定位和分類能力。

論文連結：

https://openaccess.thecvf.com/content/ICCV2021/papers/Yan_Learning_Spatio-Temporal_Transformer_for_Visual_Tracking_ICCV_2021_paper.pdf

以上是光動嘴就能玩出原神！用AI切換角色，還能攻擊敵人，網友：“綾華，使用神裡流·霜滅”的詳細內容。更多資訊請關注PHP中文網其他相關文章！