觸覺從未如此真實！兩位南加州大學華人博士革新「觸覺感知」演算法

電子科技的發展，讓我們隨時隨地享受一場「視聽盛宴」，人類的聽覺和視覺從此徹底解放。

近幾年，為裝置裝上「觸覺」逐漸成了新的研究熱點，尤其是在「元宇宙」概念的加持下，加上觸感無疑能讓虛擬世界的真實感大大提升。

當下觸覺感知技術主要是透過「資料驅動」的模式來模擬和渲染觸感，模型首先記錄使用者與真實紋理互動的訊號，然後將訊號輸入到紋理生成部分，並用振動的方式將觸感「回放」給使用者。

最近一些方法大多基於使用者互動運動和高頻振動訊號來對紋理的特徵進行建模，例如摩擦和微觀表面特徵。

雖然說資料驅動極大提升了類比的真實感，但仍存在諸多限制。

例如世界上的紋理可以說是有「無數種」，如果每種紋理都記錄一遍，所需的人力、物力都不可想像，也無法滿足一些小眾用戶的需求。

人類對於觸覺的感知相當敏感，不同的人對於相同物體的感覺也不同，數據驅動的方式無法從根本上消除從紋理記錄到紋理渲染的感知不符問題。

最近，南加州大學維特比工程學院的三個博士生提出了一個全新的「偏好驅動」模型框架，利用人類分辨紋理細節的能力對生成的虛擬感知進行調整，最終可以達到相當逼真的觸覺感知，論文發表在IEEE Transactions on Haptics.

##論文鏈接：https://ieeexplore.ieee.org/document/9772285

偏好驅動的模型首先會給使用者一個真實的觸控紋理，然後模型會使用數十個變數隨機產生三個虛擬紋理，然後使用者可以從中選擇摸起來與真實物體最相似的一個紋理。

隨著不斷地試錯和回饋，模型會透過搜尋不斷優化變數的分佈，使得生成的紋理更接近使用者的偏好。這種方法比直接記錄、回放紋理具有明顯優勢，因為電腦讀取的內容和人類的真實感受之間總是存在差距。

這個流程其實跟「甲方乙方」差不多，我們身為感知者（甲方），如果覺得觸摸感不對勁，就打回去，讓演算法（乙方）修改重新生成，直到生成的效果滿意為止。

這樣做其實很合理，因為不同的人摸相同的物體都會有不同的感覺，但電腦釋放的訊號是相同的，所以根據每個人進行觸感定制，很有必要！

整個系統由兩個模組組成，首先是一個深度卷積生成對抗網路（DCGAN），用於將潛空間的向量映射到紋理模型，在UPenn Haptic Texture Toolkit (HaTT)上進行訓練。

#

第二個模組是一個基於比較的演化演算法：在一組產生的紋理模型中，協方差矩陣適應演化策略（CMA-ES）會根據使用者的偏好回饋創建一個新的紋理模型以進化。

為了模擬真實紋理，研究人員首先會要求使用者使用自訂工具來觸摸真實紋理，然後使用觸覺裝置觸摸一組虛擬紋理候選，其中觸覺回饋透過連接到裝置觸控筆的Haptuator來傳輸。

使用者唯一需要做的就是選擇最接近真實紋理的虛擬紋理，並使用簡單的滑桿介面來調整摩擦量（amount of friction），因為摩擦對於紋理觸感至關重要，也可能因人而異。

然後所有的虛擬紋理將根據使用者的選擇按照演化策略進行更新，然後使用者再次進行選擇和調整。

重複上述過程，直到使用者找到他們認為的接近真實紋理的虛擬紋理並保存，或找不到更接近的虛擬紋理為止。

研究者將評估過程分為兩個階段，每個階段分別有一組參與者。

在第一階段，五位參與者分別為5個真實紋理產生和搜尋虛擬紋理。

第二階段則是評估最終保存的偏好驅動紋理（VTp）及其對應的真實紋理（RT）之間的差距。

評估的方式主要採用形容詞評估（adjective rating）的方式，對包括粗糙度、硬度和光滑度等感知維度進行評估。

並且在VTp、RT和資料驅動的紋理（VTd）之間的相似性進行比較。

實驗結果也顯示遵循演化的過程，使用者能夠有效地找到一個虛擬紋理模型，真實程度超過資料驅動模型。

此外，超過80%的參與者認為偏好驅動模型產生的虛擬紋理評分優於資料驅動模型。

觸覺設備在電玩遊戲、時裝設計和手術模擬中越來越受歡迎，即使在家裡，我們也開始看到用戶使用與筆記型電腦一樣流行的那些觸覺設備。

例如第一人稱電玩加入觸覺以後，會大大提升玩家的真實感。

論文作者表示，當我們透過工具與環境互動時，觸覺回饋只是一種形式，一種感官回饋，音訊是另一種感官回饋，兩者都非常重要。

除了遊戲外，這項工作成果對於用於牙科或手術訓練的虛擬紋理尤其有用，這些虛擬紋理需要非常準確。

「外科訓練絕對是一個巨大的領域，需要非常逼真的紋理和觸覺回饋；裝潢設計還需要在開發過程中對質地進行高度精確地模擬，然後再進行製造。」

#

從電子遊戲到時裝設計，一切都在整合觸覺技術，而現有的虛擬紋理資料庫可以透過這種使用者偏好方法來改進。

紋理搜尋模型還可以讓使用者從資料庫中提取虛擬紋理，例如賓州大學的觸覺紋理工具包，可以對其進行改進，直到獲得他們想要的結果。

這項技術與紋理搜尋模型一結合，那你就可以使用之前別人已經記錄完成的虛擬紋理，然後根據策略來優化紋理。

作者暢想，在未來，模型甚至可能不需要真實的紋理。

我們生活中的一些常見事物的感覺是非常直觀的，我們天生就可以透過查看照片來微調自己的感官，而無需參考真實的紋理。

例如當我們看到一張桌子時，我們可以想像一旦觸摸到這張桌子會有什麼感覺，利用我們對錶面的這種先驗知識，就可以向使用者提供視覺回饋，並允許他們選擇匹配的內容。

文章的第一作者Shihan Lu目前是南加州大學電腦科學學院的博士研究生，之前在沉浸式技術方面做過聲音方面的相關工作，即透過在工具與其互動時引入匹配的聲音，使虛擬紋理更加身臨其境。

文章的的第二作者Mianlun Zheng（鄭棉崙）是南加州大學電腦科學學院的博士研究生，大學部和碩士畢業於武漢大學。

###

以上是觸覺從未如此真實！兩位南加州大學華人博士革新「觸覺感知」演算法的詳細內容。更多資訊請關注PHP中文網其他相關文章！