遊戲玩得好的AI，已經在看病救人了

一個遊戲AI，怎麼幹起醫生的活了？

而且這本事還是從打遊戲的經驗裡總結來的。

喏，拿一張病理全片掃描影像，不用遍歷所有高倍鏡視野，也能找到病灶所在。

在它看來，這個過程和《我的世界》裡伐木居然是類似的。

都是三步驟走：

• 先觀察大環境
• 鎖定小範圍
• 最終確定目標。

而且這種方法效率還賊高，是傳統方法的400%。

不愧是拿過NeurIPS MineRL競賽冠軍的遊戲AI…

所以，它到底是怎麼做到的？

遊戲AI怎麼懸壺濟世？

在介紹這只遊戲AI之前，讓我們先來了解一下處理病理切片的難點究竟在哪。

與想像中只需掃一眼不同，臨床科室首先會將組織切片進行全片掃描數位化處理。

在這之後，交到醫生手中的往往是一張幾萬乘幾萬像素、甚至更高的高解析度影像，能達到每個像素0.25微米。

醫生要做的就是在這幅佈滿密集細胞和組織的超大尺寸圖像中，肉眼找到風險的病灶位置並進行判斷，可謂是「大海撈針」了。

近年來也不是沒有人嘗試過用深度學習方法來解決這個問題，但遇到的挑戰是：

第一個，儘管病理圖像（WSI）具有十億像素大小的高分辨率，但往往只有一個圖像級標籤。

目前絕大部分的方法都依賴於在高倍鏡下對全切片進行密集採樣的方式進行特徵提取，並對所有採集特徵進行資訊整合進而實現全片診斷，工作量可想而知。

第二呢，這些影像的病灶區域往往很稀疏。現有的方法大多依賴多實例學習框架，需要在高倍率下密集取樣局部的影像區塊（patch）。

這不僅增加了計算成本，還導致了診斷相關性弱、數據效率低下，一張切片往往需要幾十分鐘才能完成計算。

不過，這次來自騰訊的「絕悟」團隊就發現了盲點——

傳統模式下儘管醫生需要肉眼去看，但他們往往會先用顯微鏡在低倍鏡下掃片，憑藉經驗發現疑點後再用高倍鏡複核。

而這種操作，如果放到AI的世界裡，不就是最優路徑決策問題嗎？這不正是強化學習能搞定的事？

再聯繫到強化學習又常用在遊戲AI裡，遊戲AI又是絕悟AI的長處所在，嗯優勢閉環了。

此前，絕悟AI就憑藉最優路徑決策策略在MOBA、RTS、我的世界（Minecraft）等多類型遊戲中戰績斐然，還拿過AI頂會NeurIPS MineRL競賽冠軍。

當時，CMU、微軟、DeepMind和OpenAI聯手在頂會NeurIPS上舉辦了一個名叫MineRL的競賽，要求參賽隊伍在4天時間內，訓練出一個能在15分鐘內挖出鑽石的AI“礦工”。

來自騰訊的絕悟AI以76.97分的絕對優勢一舉奪魁，成功成為挑戰賽歷史上「挖礦最迅速」的AI。

而在《我的世界》裡找木頭的動作，跟在病理切片裡找病灶，其實思路差不多。

同樣是環顧四周蒐集全局資訊（病理醫生在低倍鏡下掃片），然後鎖定視角（高倍鏡確認），找到木頭後執行採集動作（確認病灶），如此往復。

於是，就在這只遊戲AI的基礎上，騰訊的研究人員推出了最新的研究成果“絕悟RLogist”，寓意正是RL（reinforcement learning ） Pathologist（病理學家）。

那麼絕悟RLogist具體是怎麼實現的呢？

決策提效400%

就像上文提到的人類醫生的解決思路一樣，「絕悟RLogist」採用的正是基於深度強化學習的，找出最優看片路徑的方法。

這個新方法的好處很明顯：避免了用傳統的窮舉方式去分析局部圖像切塊，而是先決策找到有觀察價值的區域，並透過跨多個解析度層級獲得代表性特徵，以加速完成全片判讀。

透過模仿人類的思考方式，不僅提高了看片效率，也做到了節省成本。

具體而言，研究人員透過條件特徵超解析度實現了交叉解析度資訊融合。

受益於條件建模，未觀測區域的高解析度特徵，可以根據已經被觀測過的低解析度和高解析度的特徵配對，而被更新。

其中一個關鍵步驟，是為病理影像分析領域定義一個強化學習訓練環境。此方法使用離散化的動作空間、設計合理的影像分塊和完成狀態獎勵函數，去提升模型的收斂表現，以避免局部最優。

對應的訓練pipeline如下述演算法所示：

#從結果來看，絕悟RLogist的優勢非常明顯。研究人員選擇「淋巴結切片轉移檢測」及「肺癌分型」兩個全片掃描影像的分類任務進行了基準測試。

結果表明，與典型的多實例學習演算法相比，「絕悟RLogist」在觀察路徑顯著變短情況下，能夠實現接近的分類表現，平均用時縮短至四分之一，決策效率提升400%。

不僅如此，該方法同時具有可解釋性。研究人員將決策過程視覺化後，發現未來不管是醫療教育還是實際場景，絕悟RLogist都能很好地發揮作用。

目前，該論文已被AAAI 2023接收，程式碼已開源。

值得一提的是，研究人員也強調，未來將沿著絕悟RLogist的方向繼續優化，包括透過引入更強的神經網路結構來增強RLogist的表徵學習能力，以及使用更高階的RL訓練方法避免學習到錯誤的觀測路徑等。

「絕悟RLogist」從何而來？

提到AI“絕悟”，想必很多人都不會陌生。

畢竟《王者榮耀》裡的AI玩法，就是「絕悟挑戰」。

△紅方AI 鎧大局觀出色，繞後蹲草叢扭轉戰局

還有《我的世界》、3D-FPS品類遊戲等，可以說「絕悟」遊戲老玩家了。

其背後團隊騰訊AI Lab也是讓AI學會玩遊戲的老玩家了，從2016至今已經開發出了AI“絕藝”、AI“絕悟”，並形成了“開悟”平台。

AI“絕藝”，是棋牌類遊戲玩家。

它的開發始於2016年，最早從圍棋開始。

2017年，「絕藝」在UEC世界電腦圍棋大會上奪冠，現在是國家隊的專業陪練。

除此之外，它還會下西洋棋、打麻將。在四人麻將上，「絕藝」是業界首個在國際標準時達到職業水準的麻將，拿下IJCAI麻將AI比賽的冠軍。

緊接著「絕藝」身後，2017年「絕悟」研發啟動。

它強調的不再是簡單博弈，而是多智能體AI在面臨更複雜環境下的策略問題。

2018年「絕藝」達到《王者榮耀》業餘玩家水平，2019年達到職業電競水平。

後面「王者絕悟」也為王者榮耀玩家帶來了「挑戰絕悟」、「英雄練習場」等玩法，成為玩家訓練上分的好幫手。

此外，「絕悟」玩《我的世界》，拿下了NeurIPS MineRL競賽的冠軍，成功成為挑戰賽史上「挖礦最迅速」的AI。

AI

「足球版」絕悟也曾獲得Google舉辦的線上世界足球賽冠軍。

而在做遊戲AI的過程中，騰訊AI Lab也順道與王者榮耀一同沉澱出了一個平台「開悟」。

也就是將騰訊的平台、演算法、場景給學生、學術界做一定的開放，讓他們進行相關的博弈研究。 2020年8月，「開悟」平台舉辦了第一場開悟的高校比賽，今年也發布了王者榮耀1v1開放研究環境。

實際上，遊戲領域，一直被視為AI最好的試驗田。

從「絕悟」這幾年的戰績中，不難看出它在強化學習等方面已經積累了一定能力。

那麼將最擅長的能力向外遷移，落在實際應用層面，也是產業內的大勢所趨。

這一回，可真就不能說遊戲AI「不學無術」了。

論文網址：http://arxiv.org/abs/2212.01737

開源網址：https://github.com/tencent-ailab/RLogist

以上是遊戲玩得好的AI，已經在看病救人了的詳細內容。更多資訊請關注PHP中文網其他相關文章！