蘋果Vision Pro結合大量AI技術用於使用者狀態偵測

參與Vision Pro的前蘋果AR工程師Sterling Crispin，發文分享了自己在蘋果期間所做的工作。其中提到，蘋果Vision Pro融合了大量機器學習技術，包括用AI模型預測你的身體、大腦狀態，例如是否對當前事務好奇，是否分心，注意力是否分散等等。

這一切是基於使用者眼睛的動作數據、心率、肌肉活動、血壓、大腦血液密度等等數據來衡量和判斷。

蘋果Vision Pro專案團隊負責人Mike Rockwell也表示：眼睛注視方向就是非常敏感的個人隱私數據，蘋果在Vision Pro也做了隱私保護，第三方App無法取得你的眼睛注視方向，只有你通過「點擊」之後，App才能取得你的操作行為，但也無法取得你的眼睛注視方向。

Apple Vision Pro隱私防護

以下是Sterling Crispin的原文：

當我在 Apple 擔任技術開發組的神經技術原型研究員時，我花了 10% 的時間為#VisionPro的開發做出貢獻。這是我做過的最長的一次努力。我為它終於宣布而感到自豪和欣慰。我在 AR 和 VR 領域工作了 10 年，在很多方面，這是整個產業在單一產品中的結晶。我很感激我幫助實現了它，如果你想進入這個領域或改進你的策略，我願意接受諮詢和接聽電話。

我所做的工作支持了 Vision Pro 的基礎開發、正念體驗、 ▇▇▇▇▇▇產品，以及更雄心勃勃的神經技術登月研究。就像，預測你會在你點擊某些東西之前點擊，基本上就是讀心術。我在那裡工作了 3.5 年，並​​於 2021 年底離開，所以我很高興能體驗過去兩年是如何將一切融合在一起的。我真的很好奇是什麼做了剪輯以及稍後將發布什麼。

具體來說，我很自豪能夠為 Vision Pro ▇▇▇▇▇▇計畫的最初願景、策略和方向做出貢獻。我在一個小團隊中所做的工作幫助為該產品類別開了綠燈，我認為它有一天可能會產生重大的全球影響。

我在 Apple 所做的大部分工作都在 NDA 之下，並涉及廣泛的主題和方法。但是有些事情已經透過專利公開，我可以在下面引用和解釋。

總的來說，我做的許多工作都涉及在沉浸式體驗中，根據使用者身體和大腦的數據來檢測使用者的心理狀態。

因此，使用者處於混合實境或虛擬實境體驗中，人工智慧模型試圖預測你是否感到好奇、分心、害怕、注意力集中、回憶過去的經歷或其他一些認知狀態。這些可以透過眼動追蹤、大腦電活動、心跳和節律、肌肉活動、大腦血液密度、血壓、皮膚電導率等測量來推斷。

要使特定預測成為可能，涉及很多技巧，我提到的少數專利對此進行了詳細說明。最酷的結果之一是預測用戶會在他們實際點擊之前點擊某些東西。這是一項艱鉅的工作，也是我引以為傲的事。你的瞳孔在你點擊之前做出反應，部分原因是你預計在你點擊之後會發生一些事情。因此，您可以透過監視使用者的眼睛行為，並即時重新設計 UI 以創建更多這種預期的瞳孔反應，從而創建使用者大腦的生物回饋。這是一個透過眼睛進行的粗糙的腦機接口，但非常酷。而且我會在任何一天接受侵入性腦部手術。

其他推斷認知狀態的技巧包括以使用者可能察覺不到的方式向使用者快速閃爍視覺效果或聲音，然後測量他們對此的反應。

另一項專利詳細介紹如何使用機器學習以及來自身體和大腦的訊號來預測您的注意力、放鬆程度或學習情況。然後更新虛擬環境以增強這些狀態。因此，想像一個自適應沉浸式環境，它可以透過改變您在背景中看到和聽到的內容來幫助您學習、工作或放鬆。

所有這些細節都可以在專利中公開獲得，並且經過精心編寫，不會洩露任何內容。我還參與了很多其他事情，希望最終能看到更多。

很多人對這個產品已經等了很久了。但這仍然是通往 VR 的道路上的一步。該行業要到本世紀末才能完全趕上這項技術的宏偉願景。

同樣，如果您的企業希望進入該領域或改進您的策略，我願意接受諮詢工作和接聽電話。大多數情況下，我感到自豪和欣慰的是，這終於被宣布了。從我開始從事這項工作到現在已經五年多了，我大部分的時間都花在了上面，其他設計師和工程師也是如此。我希望整體大於部分之和，Vision Pro 讓您大吃一驚。

來源：Sterling Crispin

以上是蘋果Vision Pro結合大量AI技術用於使用者狀態偵測的詳細內容。更多資訊請關注PHP中文網其他相關文章！