近期大家也看了很多蘋果XR的消息,與其看各種爆料、不如從專利入手來看看蘋果XR頭顯可能會有哪些不同的玩法。於是,我們就從蘋果近年來有關AR/VR的數百篇專利中,選出可能會直接決定和影響XR產品體驗的部分匯總出來。當然,這些專利不會集中在一款產品上,我們也無法準確告訴你蘋果XR到底長啥樣,但仍可透過專利窺探一二。
在整理近年來蘋果AR/VR專利時,主要發現以下幾個特點:
1)部分AR/VR專利來自先前收購的公司,如PrimeSense、Metaio、NextVR、SMI、Spaces等等;
2)結構光、LiDAR測距、VST透視、數位旋鈕、動態變焦等是蘋果的創新重點;
3)探索多種不同的光學方案,衍射光波導、視網膜投影等等;
4)後期多項專利描述一種多透鏡組的AR/VR顯示方案,預計將與頭戴裝置的VST攝影機陣列搭配使用。
目錄
一,光纖顯示
#◎ LBS微鏡掃描方案 衍射光波導:編號US20190377181A1等
有多種不同的光路設計,甚至可能在相位光柵和波導之間插入反射偏振器,特點是可切換光束,改變反射光線、衍射光線的相對偏光。
◎ 視網膜掃描:編號US10681328B1
蘋果描述了一種AR/VR視網膜投影系統,原理是利用微鏡將像素逐一掃描到使用者的視網膜上,好處是支援動態變焦,AR/VR影像中物體、表面可以顯示在正確的視覺深度上顯示。
◎ 可調光透鏡波導
#在2018年時,蘋果曾探索基於LCoS 光波導的AR/VR顯示方案,光學引擎位於眼鏡框左右兩側,向使用者眼前的光波導注入影像。除此之外,此方案的特點是搭載了可調焦透鏡。
而在另一項專利(US11221488B1)中,蘋果則指出調焦透鏡可採用一個或多個液晶透鏡,或是流體填充透鏡、Alvarez透鏡,特點是支持視力調節,緩解近視、遠視等視力問題。
◎ 全像光波導 Micro LED
#編號US20180321432A1,蘋果在專利中描述了一種結合全像光學薄膜的光波導方案,採用Micro LED光源,特點是光線可根據觀看角度重定向,從而形成立體視覺觀感。
除了全像光波導外,蘋果在另一項2019年的專利中(編號US20190285897A1),曾提到一種基於反射全像組合器的AR光學方案,具有半反半透特性。
◎ 折反射式光纖系統
編號US20190146198A1,指出了一種折反射式方案的AR/VR掛鉤難學系統,特點是由多層高透光透鏡(玻璃或塑膠材質)組成,可能包含平凸鏡和平凹鏡,具有折射和反射特性。而採用折疊光路設計的目的,是為了縮減頭顯光學模組的厚度。
◎ 流體調節透鏡
專利編號US20200096770A1,指出了一種可動態調節的AR/VR透鏡組,特點是在透鏡之間加入流體夾層,以實現動態調焦、屈光調節的效果。液體層由電子機械幫浦控制,透鏡之間的液體越多,距離就越遠,由於左右眼光模組是獨立的,所以左右眼焦距可獨立控制。
◎ 微透鏡陣列方案(Lenticular Display)
#在編號US20200103669A1、US20210072556A1、US11143865B1、US11187914B2、US20220035160A1、US20220146820A1146820A1146820A1146820A120035160A1、US20220146820A1等專利,均以圓柱組成,是多距光柱組成了一個折光鏡。鏡更薄,有助於縮小頭顯體積,而且FOV大,支援動態視角切換,適配多攝影機陣列的VST透視模組。
此外也詳細描述了此光學方案的最佳化方式,例如採用louver薄膜來控制顯示器光線發射角度,從而減少串擾,或是加入反射鏡來改變透視角度,將透視場景向使用者「視覺拉近”,以顯示更準確的場景深度/距離。
◎ 多層幾何相位透鏡方案
編號US20210048674A1專利中,蘋果提出了一種用於顯示立體感虛實融合畫面的光學方案,特點是採用多層透鏡結構,在不同的焦面顯示不同物體,並拼接為沉浸、立體的場景。要實現這種方案需要高度關注光學、眼球追蹤、軟體演算法等方面的要求,才能成功模擬人眼動態變焦效果。
◎ 可變色鏡片
在2019年的一項專利(US11029521B2)中,蘋果提出了一種疊加光致變色層的AR鏡片方案,特點是在紫外線強光下可降低透光度,使AR影像在戶外能更清晰顯示。類似於常見的變色眼鏡,機制可以取代一些採用遮光罩的AR眼鏡。
◎ 色散補償光纖方案:編號US20200117003A1
此方案旨在提升AR等近眼光學的光學效率和畫質,特點是使用多種全像材料作為光柵介質,每種全像材料具備不同的光柵向量、頻率和方向,因此可以很好的消除色差。此方案可搭配偏鏡、投影元件來組成光學方案。
◎ 改善Micro LED螢幕品質
#為了更好的控制Micro LED螢幕的生產質量,蘋果設計了特殊的測試設備和架構,宣稱可在Micro OLED與面板鍵合之前,捕捉亮度不達標的LED像素(比如利用顯示屏光學掃描),發現問題後可直接替換備用LED,更有效的修復。
Micro LED是比較前沿的顯示技術,除了用於手機、智慧手錶外,未來也有望用於AR/VR頭戴裝置。
◎ 360°透視
#在編號US20210092292A1的專利中,蘋果描述了一種搭載8顆攝影機的AR/VR頭顯方案,特點是在頭顯周圍(包括前蓋、頭帶)佈局了8顆攝影機,用於捕捉和透視周圍360°環境,進而增強使用者的環境感知能力,即使是視覺盲點也能看見。
◎ 主畫面 副螢幕設計
在2021年公佈的一項專利中,蘋果設計了一種基於主屏副屏的AR眼鏡方案,特點是主副屏可獨立運行,主屏幕分辨率較高,用於顯示主要的AR功能,而副螢幕解析度較低,主要顯示一些簡單的提示訊息,例如倒數計時、事件等等,而鏡框最外圍還有一圈LED指示燈,可提示AirTag就在附近。這種設計的好處是更合理地使用有限的螢幕區域,同時降低算力和耗電。
而在編號US11450297B1的專利中,蘋果則設計了一塊主屏配兩塊副屏的注視點渲染方案,這三塊屏幕(可採用柔性或硬性面板)以符合頭部曲線的弧形排列,為了隱藏螢幕邊界,蘋果在透鏡上加入了一層獨立的漫射結構,以優化高解析度和低解析度螢幕的銜接。
二,眼球追蹤
#眼球追蹤技術,是蘋果AR/VR專利中反覆提及的關鍵,主要用途包括:注視點渲染、降低功耗、動態調焦、生物監測、視力偵測、注視點輸入等等。此外,專利中也詳細描述了眼球追蹤的實現和最佳化方式,例如:
以下是幾個比較有特色的:
◎ 編號US20200019238A1:人眼的眼跳是一種常見現象,通常每秒眼跳數次(succade),在眼跳出現的短暫時間裡,視覺敏感度也會短暫降低,從而引起不易察覺的短暫失明。正是利用此特性,系統可在使用者難以察覺的情況下調整顯示內容,進而達到降低功耗,降低燒屏風險的效果。
此方案需要結合眼球追蹤技術來實現,可能採用CV或IR感測器方案。
◎編號US20190339770A1:專利中描述了一種基於注視點追蹤的機械變焦AR/VR方案,可跟隨使用者註視點變化而切換畫面焦距。而為了彌補變焦系統的延遲,該專利重點描述了一種注視點預測技術,可提前預測人眼運動軌跡(眼球掃視的落點),並對影像進行預渲染,好處是可以讓焦點切換更加絲滑。
在2018年時,蘋果曾為注視點渲染方案申請專利,產生可實現8K解析度(中心視覺區域)。而在2019年,也有亮相蘋果專利提到注視點渲染方案(編號分別為US20190172399A1、US20190180672A1),特點是採用兩塊屏幕(高清主屏低清副屏),分辨率預計也可達到8K,屏幕ppi在1000到2000之間。
◎ 編號US20190133440A1:指出了一種透過辨識主導眼,來提高和優化眼球追蹤準確性和穩定性的方案。主導眼又稱主視眼,在眼球追蹤中重點分析主導眼數據,可以更好地對齊眼球的光軸和視軸,帶來更好、更快的校準效果。
辨識主導眼的另一個好處,是能幫使用者診斷與聚散度相關的眼疾,如斜視或弱視,並在此基礎上優化注視點渲染技術。而為了進一步優化眼球追蹤對廣泛人群的適配度,蘋果在編號US11644896B2的專利中提到,眼球追蹤系統可提取不同用戶的眼部特徵作為控制參數,並在此基礎上動態校準注視點。
◎ 編號WO2020068447:蘋果提出了一種基於眼球追踪的AR/VR應用開啟方式,特點是結合了語音玩法,用戶只需要盯著目標應用標誌,說出“開啟”便可開啟應用,操控夠自然快速。而在2021年公佈的另一項專利中,蘋果則還提出了用注視點快速切換文字輸入框的方案,可以讓你在VR中更快的填表、錄入個人資訊。
在蘋果看來,眼球追蹤還可以動態優化第一人稱視訊錄製,例如用注視點驅動相機拍攝的位置,將使用者註意的位置放在視訊中心,並根據注視點變化快速運鏡(使用平滑演算法來防手震)。這將很適合未來全天候的AR眼鏡。
◎ 編號US20200278539A1:為了節省眼球追蹤硬體的功耗,蘋果在專利中設計了一種基於事件相機的方案,特點是僅在識別到眼動時開啟,而不是持續開啟掃描。專利的另一個特點,則是能根據使用者的生物資訊來調節光線強度,當使用者眨眼次數超常,或是辨識到兒童使用者時,系統演算法會降低照明光源的亮度,進而提升視覺舒適性。
而另一個省電的方案,則是結合低解析度和高解析度兩種模式的眼球追踪,分別識別眼球相對運動和準確位置,並結合頭部感測器來定位注視點。
◎ 編號US10354136B2:為了提高眼球追蹤準確性,減少漂移是一個關鍵。在該專利中,蘋果介紹了一種特殊透鏡系統,宣稱可減少眼球追蹤的漂移現象。該方案基於光線追踪,可透過識別光線到達人眼並反射的數據,來對眼球建模等等。
一些眼球追蹤專利也來自蘋果在2017年收購的SMI(SensoMotoric)公司,例如US10437327B2,提出了一種透過二次成像捕捉注視點的方案,特點是第一次成像捕捉到清晰的眼球,用於定位瞳孔位置,而第二次成像清晰度較低,用來辨識眼球發亮,兩次捕捉資料結合後,注視點預測資料可以更準確。
三,生物感測器
在一些專利中,蘋果提出在AR/VR頭戴裝置中加入生物感測器,用於感知穿戴者的身體狀態,並相應改變顯示的內容。細節方面,頭顯可辨識力度、溫度、濕度、位移、EEG、電容、EMG和心率等訊息,從而評估心理壓力、個人健康狀態,然後在AR/VR中推薦幫助放鬆的應用或內容,甚至還能主動提示就醫資訊。
而在2019年一項專利中,蘋果曾描述一種臉部追蹤方案,特點是在AR/VR頭顯、眼鏡中加入多種生物感測器,例如PPG(光電容積脈搏波描記法)、ECG (心電圖)、GSR(皮膚電訊號)、壓力感測器、eField、熱感測器等等。該裝置能夠偵測使用者的健康狀況,透過分析咀嚼、眨眼、鼻子皺動等多種複雜的臉部動作來實現。
四,互動技術
#1,隔空手勢
蘋果的一些3D手勢技術來自於2013年收購的PrimeSense,從一些相關專利中可以發現,發明者為前PrimeSense員工。例如在一項專利中,就介紹了一種3D手勢方案,特點是允許用戶用抓取、推播、釋放等手勢操作3D用戶介面,來玩遊戲或播放影片。
隔空手勢是蘋果AR/VR專利中常見且重要的技術,不僅可用於AR/VR頭顯,還能在iPhone、iPad、Mac等裝置上實現。
蘋果隔空手勢系統可採用多種方案,例如結構光、LiDAR、RGB、IR感測器、超音波換能器、VSWR感測器等等。
例如在編號US20210011289A1專利中,蘋果描述了一種支援Inside-Out定位的AR/VR頭顯方案,特點是搭載RGB相機、ToF感測器和IR LED模組,支援手勢追蹤、3D環境測距等多項功能。
2,體感/智慧手套
蘋果曾為AR/VR手套申請多項專利,涵蓋了各種不同的技術方案,例如在手套的指尖末端加入磁性感測器,透過偵測磁場變化和乾擾,來定位磁源和感測器的相對位置,從而實現手勢定位。可運用柔性力感測器陣列和光導材料,來偵測微小的觸感互動和握力的動態變化等。
此外,也提出基於IMU定位的手套方案,特點是將IMU感測器內建在手套的指關節部位,可準確偵測手掌、手指動作和位置,不受遮擋等因素困擾,因此可辨識手指交叉動作。
在編號US11397486B2的專利中,蘋果也 提出了一種利用超音波來辨識手勢的VR手套,特點是可辨識使用者手掌施加的壓力,以及手指厚度。
除了追蹤手勢外,蘋果還希望基於摩擦阻力、柔性貼片等技術,為AR/VR手套賦予體感回饋(編號US10481688B1、US20200257362A1),以模擬「觸摸」大海、海浪、樹、沙灘、方向盤等紋理的感受。
而在另一項2020年的專利中,蘋果則描述了一種基於織物材質的柔性體感手套方案,特點是織物部分可膨脹或收縮,以適配不同手型的用戶。
3,智慧手環/手錶
在一項專利中,蘋果描述了一種用智慧手錶來操控VR遊戲的方案,特點是基於皮膚感測,可透過對比和分析靜脈影像,來推測手部關節動作。
而在編號US20210303068A1等專利中,蘋果也提出在智慧手錶上透過攝影機CV、UWB、EMG、RF、感測電路等方式,來識別雙手接觸動作的方案,允許你用一根手指在另一隻手掌上滑動,來模擬遊標移動、拖曳、開啟或其他指示。
實際上,Apple Watch在2021年已經推出手勢辨識功能(AssistiveTouch),可辨識握拳、捏手指等動作,讓你用單手微動作來操控手錶介面。未來,這種形式的互動有可能與AR/VR頭戴裝置結合,以便直接實現自然的手勢互動。
4,智慧戒指
#目前,市面上AR/VR主要互動方式是手柄,其次是手勢。 Google、Meta和蘋果等公司正在研究使用智慧戒指來控制AR/VR技術。尤其是在蘋果AR/VR相關專利中(US20190004604A1,US10444834B2等),經常出現對智慧戒指的介紹,涉及各種不同的設計。
例如:U型戒指(彈性/柔性材質,尺寸可調)、戒指、指套(追蹤五指運動),或是時髦的螺旋式、鉸鍊式等設計。特點是外型可擴展,且可多個一起使用,或與Apple Pencil等週邊設備協同使用。
特點是採用無線設計,光學定位織物、搭載多個感測器:觸控板、NFC通訊、生物感測器、SMI壓力感測器、加速針等裝置,可識別皮膚接觸/捏合、敲擊等微手勢交互,支援6DoF定位,甚至能辨識環境溫度、物理表面形狀和紋理,以及心率、血壓、血氧等生物訊號。一些專利中也提到,智慧指環可配備一些與Apple Watch接近的智慧功能,例如數位旋鈕、解鎖Mac電腦等等。
5,手寫筆互動
在一些專利中,蘋果曾提出用手寫筆(如Apple Pencil)在空間中進行3D創作,這與傳統基於觸控筆的手寫筆方案有很大不同。
例如編號US20180018057A1,就指出了一種基於非電子表面輸入的手寫筆設計,特點是手寫筆內置定位傳感器,可識別在任何地方書寫的內容。
而在2020年的一項專利中,蘋果則描述了一種支援6DoF定位的手寫筆,特點是支持剪切力反饋,用戶握筆時可感受到模擬的表面、體積、內部紋理等物理體感特性。
在另一項專利中,蘋果還提出了一種簡易的手寫筆適配器,可為Apple Pencil帶來壓力感應功能(作用類似於VR手柄的扳機鍵),並允許用戶使用Pencil在空間中輸入資訊。此外,手寫筆還能作為控制器來玩遊戲(US20230042447A1),例如在AR/VR中做出敲擊、滾動、旋轉、輕彈和滑動等動作。
6,虛擬鍵盤
#編號US10237509B1:為了幫助AR/VR用戶快速輸入文字,蘋果在專利中提出了一種虛擬鍵盤設計,概念是在實體鍵盤上疊加一層虛擬鍵盤,相比於相機直接透視按鍵,虛擬鍵盤視覺看起來更加清晰。輸入硬體方面,此方案相容於實體鍵盤,或是平板電腦的觸控鍵盤、手勢追蹤手套。
編號US20200088999A1:這項專利中設想了一種基於投影的虛擬鍵盤方案,特點是在頭顯上搭載投影裝置,可將鍵盤投影到桌面等物理平面上,並利用3D感測器來識別用戶敲擊鍵盤的動作。值得注意的是,這項專利中提到的頭顯還支援其他外屏交互,例如在外殼上加入按鈕、觸控感測器、觸控顯示屏,允許用戶不戴頭顯也能快速使用。
而在另一項專利(US10890952B2)中,蘋果也提到了類似的互動式表面投影機方案,特點是可將任何實體表面變成可操作性的選單,例如在筆記本上疊加計算器功能,或在手臂上疊加互動UI。
五,VST透視
在一些專利上可以看到,蘋果部分VST技術是從他們2017年收購的VRVANA公司獲得的透視技術。 VRVANA技術特點是可修正光學透鏡的影像失真,VST透視延遲僅幾毫秒。在2019年公佈的一項專利中(發明者之一為VRVANA創始人Bertrand Nepvue),蘋果就描述了一種基於即時色度鍵控原理的MR方案,可將真實場景中人的背景替換為虛擬內容,類似綠幕替換。
此外,蘋果在2019的另一項專利中指出(US10330935B2),可為頭顯配備高分辨率和低分辨率兩種透視攝像頭,這種設計利用了VR的注視點渲染技術,通過降低使用者餘光部分的透視分辨率,來優化計算任務、降低硬體成本。
專利也指出,AR/VR頭戴裝置透過兩組RGB相機捕捉周圍立體環境,宣稱可模擬人眼視覺系統。
六,空間音訊
#蘋果針對空間音頻也曾申請多項專利,例如一些基於HRTF(頭部相關傳輸函數)、幾何聲學等技術的方案,或是透過即時聲音射線追蹤來模擬室內聲場。此外,也探討了根據頭部定位資訊來預測雙聲道音訊的方案,特點是可根據使用者頭部運動來動態調整聲音的模擬距離和方向,改善VR RPG遊戲、恐怖電影等內容的體驗感。
而在US2022032965A1中,則描述了一種根據頭對軀幹方向來定位使用者朝向的方案,類似於AirPods的身體朝向模式。
在2021年的一項專利中,蘋果曾指出AR/VR頭顯可搭載多個麥克風陣列,支援定向音訊偵測,可計算出周圍環境中某個聲音的來源,並以視覺形式標註或提示。這樣的功能可以很好的補充人的聽力,幫助使用者辨識超出正常感知範圍的聲音(類似的概念還可以用AR標記肉眼不可見的氣體、電磁訊號等)。
而在2023年的一項專利(US2023014111A1)中,也指出可以使用空間濾波器,根據用戶所處的環境,為雙聲道音頻加入空間線索,讓空間音頻的實際體驗更加身臨其境。
七,定位系統
#◎ 超音波定位
目前,主流VR定位是基於光學方案,例如紅外線、CV等等。在編號US20190094955A1的專利中,蘋果提出了一種基於飛時測距原理的超音波定位方案,宣稱可測量感測器與牆壁、目標、障礙物之間的相對測距,為周圍環境生成3D地圖,並定位手把、頭顯,以及偵測障礙物、辨識表面。
◎ 3D測距/掃描
#蘋果不只一次在專利中提到,AR/VR頭顯可搭載多個3D感測器,包括:結構光感測器、雙眼3D影像感測器模組(由2個或以上相機組成)、LiDAR、3D無線電感測器、紅外線或CV相機等等,這些感測器可用來定位空間,也可以識別障礙物。
八,其它感測器
#◎ 多感測器陣列
在2021年,USPTO曾曝光一項來自蘋果的關鍵AR/VR專利(US20210165229A1),其中描述了一種分離式、搭載多相機和感測器的AR/VR頭顯。為什麼說它重要呢?首先專利發明者都是蘋果的一些關鍵人物,例如HoloLens聯合發明者Avi Bar-Zeev,以及在蘋果工作了二十多年的Geoff Stahl。最近,彭博社曝光,Stahl現在負責蘋果AR/VR專案中的關鍵應用程式xrOS作業系統。
除此之外,在編號US20210294104A1的專利中,蘋果還設想AR/VR頭顯可以搭載更多感測器,例如度相機、眼球追蹤模組、雷射雷達、指紋辨識模組、手勢辨識模組、超音波感測器、光學距離感測器、視網膜掃描感測器、溫度感測器、EMG、氧氣感測器、心率感測器、血流量感測器、電阻式感測器、應變儀、加速計、磁性感測器、電位器等。
◎ 霍爾感測器(編號US10557724B1)
通常,AR/VR頭戴裝置採用距離感應器來感知配戴狀態,偵測到使用者配戴頭戴裝置後,便會開啟系統,而偵測到使用者摘掉頭戴裝置後,則進入待機狀態。相較於距離感測器,霍爾感測器更省電,蘋果希望在頭顯中採用多個霍爾感測器和磁性機制,透過偵測裝置的旋轉角度,來判斷配戴狀態。實際上,蘋果藍牙耳機AirPods也採用了霍爾感應器。
九,設計
#◎ 數位旋鈕
蘋果在多項專利中(如US20210089136A1),曾提到數位旋鈕設計在AR/VR頭戴裝置上的應用。實際上,數位旋鈕是蘋果產品的經典互動方式,先前曾出現在Apple Watch、AirPods Max耳機中,而應用在AR/VR頭顯時,它將可以調整音量、螢幕亮度,甚至可以切換AR和VR模式。
有趣的是,在編號US20230162929A1的專利中,蘋果中指出數位旋鈕可支援更複雜的操作,例如將多次旋轉動作組合,觸發組合指令,實現更豐富的交互。
◎ 柔性智慧紡織材料
目前AR/VR主要在外殼上採用織物包裹,還未應用導電的織物設計。在編號US20190191557A1的專利中,蘋果提出了一種柔性智慧織物方案,特點是內建凹槽導電纜,可應用於臂帶、AR眼鏡等穿戴設備。
◎ 隱藏相機
AR/VR頭戴裝置不可或缺的部分是光學感光元件和相機,它們主要用於感知環境、定位和手勢辨識。 AR眼鏡的全天候佩戴可能導致眼鏡上的相機和感測器運行時間過長,從而引起周圍其他人的不滿。為了讓相機看起來更隱蔽,蘋果在專利(編號:US20190353836A1)中提出了一种红外透光單面鏡塗層,原理類似於警局問詢室常用的單面鏡,該塗層能透過紅外線光(不影響SLAM定位),從外部看不到內部的攝影機。
◎ 外殼大面積觸控
在編號US20210089150A1的專利中,蘋果提出了一種大面積支援觸控的AR/VR頭戴裝置外殼設計,特點是配備感測器、滑桿按鈕、旋鈕等多種操作方式,支援靈活的外部操控。
而在其他的專利中,蘋果也提到某種肉眼不易察覺的「隱形」按鈕和觸控滑塊方案,用於優化AR/VR頭顯的產品美學設計。
◎ AR頭顯盒子
蘋果在多項專利中曾提出插入式AR/VR頭顯盒子設計,特點是可將手機直接插入有透鏡的鏡架中,在用戶眼前顯示內容。鏡腳處還可配備觸控感應器,用於操作AR/VR介面。在2022年的一項更新專利(US11258891B2)中,也加入了新功能:支援AR(VST模式)/VR模式切換。
比較與整合式AR/VR頭顯,頭戴裝置盒子的優點是成本更低,可以靈活利用現有的iPhone手機,甚至還能保護看手機的隱私。不過從一系列爆料來看,蘋果似乎暫時不會推出這樣的產品。
◎ 模組化AR眼鏡
在2020年公佈的一項專利中,蘋果構想了一種比較超前的AR眼鏡產品設計,特點是鏡片、鏡架等部分高度模組化,可替換和拆卸,例如根據不同的需求和場景,更換不同的零件,例如高解析度顯示器模組、長續航電池、更小巧的元件等等。值得注意的是,AR鏡框與鏡腳之間採用插入式榫接結構,使用者無需額外的工具輔助,自己就能組裝完整的AR眼鏡。這種玩法類似於Apple Watch的可更換錶帶機制,允許用戶將產品個人化。
◎ 可設定、擴充的AR/VR音訊系統(編號US20200089008A1)
耳機的耳罩採用變形泡棉材質,可透過充氣和放氣來切換降噪和穿透模式,以改變音訊模式。在VR場景中,可快速切換至沉浸式音訊(降噪模式),而在AR場景中,則改為開放式音頻,透過骨傳導原理播放聲音。
◎ 鏡片保護模式
Apple engineers envisioned a protective mechanism in a patent published in December 2019 to prevent the lenses of AR glasses from shattering upon impact from falls.。此方案可透過感測器偵測AR眼鏡的狀態,當時別到正在自由落地、被撞擊時,便會啟動光學系統的保護模式,即移動相關鏡片,並在透鏡間隔填充空氣或特殊液體,來形成緩衝,從而降低碰撞帶來的意外損失。
而在編號US20210302745A1的專利中,蘋果還提出了一種光學模組自檢系統,當識別到跌落、碰撞等情況時,會自動檢測內部組件錯位情況,並自動進行位置補償,以恢復預設值。
有趣的是,蘋果在另一項專利(US11340466B2)中,也提出了一種彈性鏡框設計,特點是鏡腿可變形,在受到撞擊時可起到緩衝作用,避免光波導等光學模組變形。
◎ 頭顯綁帶最佳化
編號US20190072772A1:通常,用戶在佩戴AR/VR頭戴裝置之前,需要針對自己的頭型去調節綁帶,這需要一個過程,因此不能像手機那樣拿出來就能用。當多人共享AR/VR頭戴裝置時,每個人都需要調整綁帶,這可能會比較麻煩。
為了簡化頭顯配戴流程,蘋果在專利中描述了一種機械綁帶系統,特點是可識別使用者頭部參數,並自動適應尺寸。值得注意的是,該系統還會根據手勢、頭顯內容來調節,例如透過使用者手的位置來輔助摘掉、穿戴動作,而在運行不需要用戶移動的內容(例如看電影),綁帶就會放鬆。
除此之外,蘋果還在一項專利中提出了一種可折疊頭帶系統(US11320659B1),特點是將柔性綁帶與磁吸模組結合,特點是容易收納,支援模組化擴展(例如將相機、電池、揚聲器等元件吸附在頭帶上)。
十,UX設計
#◎ 主動散熱系統
編號US20190075689A1:為了提升散熱效率,Quest 2已經採用風扇來主動散熱。相較之下,蘋果專利中所描述的方案具有較好的通風性,特點是在頭顯上下兩面各配置兩個風扇,以實現上下對流風,為內部零件降溫。
此外,此風扇系統可根據渲染任務動態調節強度,還能對臉部吹風,為肌膚降溫。
而在2022年的一項專利中,蘋果進一步提出了一種風扇噪音控制系統,特點是可識別散熱系統的噪音,並即時調節風扇速度來降噪,以避免干擾用戶與接打電話、Siri語音助理交流。有趣的是,還可以增加風扇音量,來提示使用者周圍有障礙物。
◎ 光纖部件自我清潔
我們知道,AR/VR頭顯通常是基於精密的光學結構,如果在透鏡、顯示器之間的縫隙進入灰塵或碎片,很可能阻礙光源傳播,進而影響顯示效果。然而,光學元件通常不好拆開,人為清潔困難。因此,蘋果在2021年公佈的一項專利中指出一種可自我清潔的光學方案,其概念足夠簡單,主要是檢測光學質量,當出現問題時,便通過抖動將灰塵顆粒抖開,並安全的手機到用戶視線範圍外。
◎ 臉部適配系統
編號US20200081259A1:蘋果提出了一種模組化的頭顯面部支撐系統,特點是採用長度可伸縮的材質、充氣式材料,以及彈性橡膠材料,好處是可以根據不同人的面部結構(額頭、兩頰、太陽穴)調整,即使因頭顯晃動而出現面罩錯位,也可以透過調整貼合度來提升舒適感。
◎ 跨裝置認證解鎖
在一項名為「認證設備輔助用戶認證」(US10893412B2)專利中,蘋果指出了一種多設備就近認證的方案,允許用戶佩戴AR/VR頭顯直接解鎖自己的iPhone,從而省去重複穿脫頭戴裝置、解鎖手機的步驟。這款跨裝置之間的連動設計,在Apple Watch上已經採用,可讓你快速解鎖iPhone或Mac電腦。除了使用解鎖功能外,你還可以透過使用頭戴式顯示器來鎖定手機等設備,同時還可以設定二次驗證機制。
在另一項編號US20210105614A1的專利中,蘋果也提到了類似的多設備認證、解鎖系統,允許用戶使用AR/VR頭顯解鎖附近的蘋果設備。
◎ 增強融合顯示
編號US10347050B1,蘋果提出了一種利用AR扭曲影像來增強顯示效果的方案,其特點是透過辨識使用者的視覺盲點,來用AR的形式改變真實環境的視覺效果,讓原本使用者看不到的內容,也能以某種形式可見。此方案基於眼球追蹤技術,需要使用3D深度感知來捕捉周圍場景。
◎ 頭戴裝置無線感應充電
#在編號US20200081490A1的專利中,蘋果提出了一種適用AR/VR頭顯的感應充電架,特點是可直接將頭顯掛在上面展示,或是將電池分離,放在架上充電。這個設計的優點在於它能夠實現頭顯的美觀收納和展示,而且頭顯不使用時還可以充電,方便用戶隨時拿取使用。
◎ AirPlay隔空播放
在多項專利中,蘋果曾提出將AR/VR頭戴裝置與電腦、筆記型電腦、電視連動的方案,概念類似於現有的AirPlay功能,可以快速在頭戴裝置中同步周圍其他裝置的螢幕(來播放影片、載入文件、信箱等等)。
◎ 毫米波通訊系統
在2020年的一項專利中,蘋果提出了一種基於毫米波的多人互動方案,特點是透過毫米波基地台和多個中繼基地台,來實現與電子設備之間的大規模無線通訊,例如向多台AR/VR頭戴裝置串流內容等等。
十一,應用場景
在某些專利中,蘋果深入探討了AR/VR的多種應用場景,例如沉浸式觀影、AR導航、AR視訊通話系統等等。
◎ AR通話(專利編號20160344972)
基於相機捕捉、產生3D模型,用於實現沉浸式遠端AR通話。此方案可用於iPad、Apple TV等設備,特點是可將通話者、通話者手上拿著的物體捕捉,並以虛擬形式呈現在影片中。
也會結合外部相機,搭載RGB影像感測器、深度感測器、IR感測器等,可辨識空中手勢,用於簡化選單操控方式。
◎ 虛擬助理
特點是具備上下文感知能力,利用電腦產生字元或影像,用於提示、導航、顯示額外的訊息,輔助使用者使用AR/VR。除了視覺輔助外,虛擬助理也支援語音互動。
◎ AR導航
#編號US20170213393A1:蘋果AR/VR頭顯可能支援視覺導航,例如現實場景中的建築、興趣點上標記額外的訊息,或是用AR標記車內的音響等各種功能。此外,支援手勢互動。專利來自Metaio的技術,除了AR導航方案外,Metaio也為AR環境辨識(3D環境捕捉,以及天氣、時間、座標等資料辨識)申請專利。
而在2018年另一份專利中,蘋果也曾提出可從多角度檢視的3D AR地圖方案。
◎ AR體育轉播
編號US20200175275A1:為運動比賽轉播加入可互動的AR內容,豐富觀賞體驗。這個方案的特點是,需要使用外部設備來檢測觀眾的興趣點,並在此基礎上顯示額外的信息,例如當你看對籃球員的鞋子感興趣,系統就會在電視上顯示球鞋的信息,還可以AR的形式展現球鞋模型,讓觀眾從多角度看。
◎ 低延遲色度摳像
#Zoom等視訊軟體已經支援背景替換功能,而在VST混合實境頭戴裝置中,背景替換也可以得到很好的應用,例如將眼前的人、物件與實際背景風格,並即時替換為虛擬背景。蘋果的專利方案與通常的背景替換方案不同,它是更立體的,可以呈現3D背景,而不是2D圖像。
◎ 與電腦協同
在某些專利中,蘋果提到了AR/VR在辦公室場景的應用,例如搭配Mac電腦,利用虛擬螢幕來擴展電腦螢幕的顯示區域,或將電腦螢幕內容顯示在頭顯中,以保護使用者隱私,防止窺屏。
◎ 手機等連接AR/VR頭戴裝置(編號US20190065027A1)
描述了某種分離式觸控互動方案,即使用手機等具備觸控板、觸感按鍵和顯示器的設備,來操控AR/VR頭顯顯示的內容。換句話說,將iPhone作為AR/VR頭顯的手柄,這可以看做是手勢、手柄之外的另一種互動方式,而且可以很好的融合蘋果全家桶設備。
◎ 360°視訊編碼/解碼技術
專利編號20190004414,指出了一種自適應解析度和投影格式,特點是預設了多種編碼配置方案,可根據成像效果選擇是否插幀,從而提升360°和MR視訊渲染品質。
雖然我們擁有這些專利,但它們只揭示了蘋果XR設備開發的一小部分,因此無法確定最終的外觀和功能。本文只是拋磚引玉,透過這些專利給大家一些線索和啟示。蘋果XR設備有待揭曉,期待在WWDC23讓我們一睹芳容。
以上是挖掘數百篇AR/VR專利,蘋果XR全方位探索的詳細內容。更多資訊請關注PHP中文網其他相關文章!