三星XR專利分享用腦機介面提供完整感官回饋刺激－嗅覺、味覺等

（映維網Nweon 2023年11月27日）根據早前的情報，三星已經制定了完整的元宇宙戰略，並旨在構建一個以三星為中心的XR生態系統，並且正在積極招攬人才。根據專利申請，這家公司實際上已經將終極的腦機介面納入至考慮之中。

過去，腦機介面的研究在Meta、Valve和其他新創公司中較為常見。當然，像微軟這樣的公司也曾進行過探索。如今，積極佈局XR領域的公司開始探索更先進的腦機介面。三星在一份名為「資訊產生方法與裝置」的專利申請中，提出將腦機介面應用於XR的感官回饋刺激領域

這家公司認為，在XR技術中，各種感官模擬主要是基於感測器實現。但每一種感官模擬都是透過一種感測器來實現，所以過程操作繁瑣。另外，感測器不夠全面，所以有許多模擬無法實現。換句話說，使用相關感測器所獲得的效果與真實相去甚遠，使用者無法獲得逼真的模擬。

所以，三星提出可以利用腦機介面設備來提供逼真的感官模擬。其中，系統可以獲取關於用戶在虛擬環境中相對於目標對象的位置信息，然後基於所述位置信息和屬性信息來確定與目標對象相對應的感官信息，最後將感測信息轉換為電信號並通過腦機介面設備來刺激使用者。

根據範例實施例，圖2展示了相關的資訊生成流程圖200。資訊產生方法包括取得使用者相對於虛擬環境中目標物件的相對位置資訊的操作201

在一個實施例實施例，可以將相互合作工作的一個或多個裝置稱為執行實體。執行實體可以建立空間直角坐標系，實時獲取所述直角坐標系中用戶的位置信息和所述虛擬環境中目標對象的位置信息，並根據所述用戶的位置信息和所述目標對象的位置信息確定所述使用者相對於所述目標物件的相對位置資訊。

所述執行實體可週期性地取得所述使用者在直角座標系中的位置資訊和所述虛擬環境中所述目標物件的位置資訊。目標對象可以是虛擬環境中的任何目標對象，例如桌子、水杯、麵包等。

在操作202中，基於目標物件的相對位置資訊和屬性資訊確定與目標物件相對應的感官資訊。

根據範例實施例，在取得虛擬環境中使​​用者相對於目標物件的相對位置資訊後，執行實體可根據對應表或感官資訊預測模型進一步確定與目標物件對應的感官資訊。例如，對應表可以儲存預定的相對位置資訊、目標物件的屬性資訊和相互關聯的感官資訊。感官資訊預測模型可以是透過執行訓練操作確定的預定感官資訊預測模型。

根據範例實施例，我們可以使用目標物件的相對位置資訊和帶有感官資訊的屬性樣本來訓練模型，從而得到預測感官資訊的模型

目標對象的感官訊息可以包括觸覺、聽覺、嗅覺或味覺中的至少一種。感官訊息可以用刺激參數來表示。刺激參數可以根據使用者在真實環境中對目標物體實際產生的感官資訊來決定

有趣的是，三星提出相關刺激器可以是腦機新創公司Blackrock的完全可程式96通道神經刺激器CereStim。但當然，這家公司表示所述設備只是其中一個選擇，發明可以採用其他模擬器。

在一個範例場景中，使用者觸碰30攝氏度的對象，電極活動透過使用神經連接埠神經訊號收集器來記錄。電極記錄的神經活動放大，並以30 kHz的取樣頻率進行類比-數位（A/D）取樣，然後使用神經連接埠神經訊號處理器NSP系統記錄。然後，透過CereStim 的Matlab API編寫刺激參數，並透過不同的脈衝刺激和調節電流強度再次獲取電極訊號。當電極訊號彼此無限靠近時，它們可以觸摸30攝氏度物件的刺激參數。

同樣，可以得到觸覺、聽覺或嗅覺的任何刺激參數。

在進行203操作時，此方法包括將感官資訊轉化為電訊號，並透過腦機介面設備來刺激使用者

在確定與目標物件相對應的感官資訊之後，執行實體可以使用腦機介面設備將這些感官訊息轉換為電訊號，然後透過刺激使用者大腦皮質中的相應部位來產生相應的感覺

根據另一個範例實施例，基於目標物件的相對位置資訊和屬性資訊確定與目標物件相對應的感官資訊的操作可包括，基於使用者臉部朝向和使用者頭部與目標物件之間的距離確定與目標對象相對應的嗅覺訊息；並確定嗅覺訊息作為與目標對象相對應的感官訊息。

根據另一個範例實施例，所述方法可包括確定目標物件具有氣味屬性，根據使用者臉部朝向和使用者頭部與目標物件之間的距離確定與目標物件相對應的嗅覺資訊。反應或基於確定目標對象具有氣味屬性，將嗅覺訊息確定為與目標對象相對應的感官訊息。

氣味屬性可包括水果香氣、花香氣、食物香氣等屬性資訊。

在一個實施例中，透過利用目標物件的相對位置資訊和屬性資訊來確定與目標物件相關的感官資訊。在確認目標物件具有聲音屬性的基礎上，可以根據使用者臉部的方向和使用者頭部與目標物件之間的距離來確定與目標物件相關的聽覺訊息，然後將聽覺訊息確定為與目標物件相關的感官訊息

執行實體可以利用使用者頭部左右兩側的可穿戴定位裝置來確定使用者的左側座標和右側座標，進一步確定連接使用者頭部左側座標和右側座標的線，並根據所述線與所述目標物件的座標所在的平面方向之間的夾角決定使用者臉部的朝向。

根據圖3所示，透過使用UWB基地台作為原點，執行實體301可以建立一個空間直角座標系，並透過使用使用者頭部左側的第一可穿戴定位裝置303和使用者頭部右側的第二穿戴定位裝置304，取得與使用者頭部相對應的座標A和B

根據範例實施例，穿戴式定位裝置303和304可以是UWB晶片。 UWB基地台可由執行實體301實作。座標A對應於晶片303，即使用者頭部左側的座標，座標B對應於晶片304，即使用者頭部右側的座標。

同時，得到目標物件305的座標M，確定直線AB與M所在平面方向夾角為使用者的面向。這裡，目標物件305為虛擬花朵，執行實體可以根據使用者的臉部朝向和使用者頭部與目標物件的距離，從預定對應表中確定與目標物件對應的嗅覺訊息，並確定嗅覺訊息為與目標物件對應的感官訊息。對應表相應記錄了使用者的臉部朝向、使用者頭部與目標物體的距離以及相互關聯的嗅覺資訊。

本實施例中，透過使用使用者頭部左右兩側的可穿戴定位設備，確定使用者頭部左右兩側的座標。透過計算連接使用者頭部左右兩側座標的直線與目標物件座標所在平面方向之間的夾角，來確定使用者臉部的方向。這樣有效地提高了確定使用者臉部朝向的精度

執行實體可以根據使用者頭部相對於目標物件的相對位置資訊進行偵測，並且根據確定目標物件位於使用者頭部的預定位置以及目標物件具有可食用屬性的條件，確定與可食用屬性相對應的味覺訊息作為與目標對象相對應的感官訊息

可以包含屬性訊息，如香蕉味道、蘋果味道等

應注意，在確定目標物件位於使用者頭部的預定位置之前，可能存在使用者觸碰目標物件的動作，或可能不存在使用者在預定時間範圍內觸碰目標物件的動作。

在一個實施例，透過確定使用者的手與目標物件之間的距離是否滿足預定閾值，可以確定是否存在使用者觸摸虛擬物件的動作。

本實施例中，首先根據目標物在使用者頭部的預定位置和其具有可食用屬性，確定了可食用屬性對應的味覺資訊作為目標對象的感官資訊。然後將該感官資訊轉化為電訊號，並透過腦機介面設備刺激用戶，從而幫助用戶在虛擬環境中體驗到物件的可食用屬性，提升互動的真實性

示意圖展示了資訊產生方法的應用場景，如圖4所示

在圖4所示的應用場景中，實體401可以以UWB基地台為原點建立一個空間直角座標系。透過在使用者402的一個或多個身體部位上使用穿戴式定位設備，可以獲得使用者在空間直角座標系中的位置資訊

例如，穿戴式定位裝置可設定在使用者的手上和頭上。 UWB基地台可由執行實體401實作。根據範例實施例，所述實體可以取得目標物件403上的位置信息，例如虛擬足球，從而根據所述使用者的位置資訊和所述目標物件上的位置資訊確定使用者相對於所述目標物件的相對位置資訊.

接下來，根據對應表來決定目標物件所對應的感官資訊。這個對應表中記錄了目標物件的預定相對位置資訊、屬性資訊（例如平滑度、柔軟度等）以及對應的感官資訊。然後，將這些感官資訊轉換成電訊號，並透過腦機介面設備來刺激使用者402

所述信息生成方法可包括獲取用戶相對於虛擬環境中目標對象的相對位置信息，根據所述目標對象的相對位置信息和屬性信息確定與所述目標對象相對應的感官信息，並通過腦機介面設備將所述感官​​資訊轉換為電訊號以刺激使用者;這有助於使用者在虛擬環境中體驗到物件的屬性，提高互動的真實性。

請參考圖5，這是資訊產生方法的流程圖500

在501的操作中，可以透過資訊產生方法取得使用者相對於虛擬環境中目標物件的相對位置資訊

在進行502操作時，如果確定使用者的手與目標物件之間的距離滿足預設的閾值，並且目標物件具有輪廓特徵，那麼就會確定與目標物件輪廓特徵相對應的觸覺訊息作為與目標對象相對應的感官訊息

重寫後的內容：所述的相對位置資訊可以包括使用者手與目標物件之間的相對位置訊息，執行實體可以偵測使用者手與目標物件之間的距離。為了響應於確定使用者手與目標物件之間的距離滿足預定閾值，並且目標物件具有輪廓屬性，將目標物件輪廓屬性對應的觸覺資訊確定為目標物件對應的感官資訊

可以包括輪廓、材質、紋理、光滑度、溫度、品質等屬性資訊

其中，可根據體驗、實際需求和具體應用場景設定預定閾值。例如，手指和/或手掌與目標物件之間的距離小於或等於1cm，或手指和/或手掌與目標物件之間的距離小於或等於0.5 cm，在本公開中不受限制。

具體來說，該系統以UWB基地台為原點建立空間直角坐標系，使用佩戴在用戶手上的數據手套獲取用戶手部位置信息，同時獲取目標物體的位置信息。此目標物為水杯，且預設的閾值為使用者的手指和/或手掌與水杯的距離小於或等於1公分

為了滿足預定的閾值，確定使用者手指和/或手掌與水杯之間的距離，同時考慮到水杯的輪廓屬性，將與水杯輪廓屬性相對應的觸覺訊息確定為水杯的感官訊息

在操作503中，包括透過腦機介面設備將感官資訊轉換為電訊號以刺激使用者。

與圖2範例實施例所示的方法相比，根據圖5流程圖500所示的方法，為了確定使用者的手與目標物件之間的距離滿足預定閾值，且目標物件具有輪廓屬性，將目標對象的輪廓屬性對應的觸覺訊息確定為目標對象對應的感官資訊。

透過腦機介面設備，將使用者感知的資訊轉換為電訊號，並透過刺激使用者來幫助他們在虛擬環境中體驗到物體的輪廓屬性，以提高互動的真實性

延伸閱讀：Samsung Patent | Information generation method and device

名為「Information generation method and device」的三星專利申請最初在2023年7月提交，並在日前由美國專利商標局公佈。

通常情況下，美國專利申請在接受審查後，會在申請日或優先權日起的18個月內自動公佈或根據申請人的要求進行公開。需要注意的是，專利申請的公開並不代表專利已經被授予。在專利申請公開後，美國專利商標局需要進行實質審查，這個過程可能需要1年至3年的時間

以上是三星XR專利分享用腦機介面提供完整感官回饋刺激－嗅覺、味覺等的詳細內容。更多資訊請關注PHP中文網其他相關文章！