蘋果引領AR革命？ Unity科技開放日x Rokid，暢談下一代人機互動新路線

AR發展的里程碑被刻上了一場因蘋果而引發的空間運算時代革命。由Vision Pro打造的沉浸式空間，正在為用戶帶來全新的人機互動體驗，例如：突破傳統顯示器的限制，用戶瀏覽app 時，只要輕鬆地看著它們、捏合手指來選擇，即可在空中任意拖曳點擊。

事實上，這也是Rokid一直在探索的方向──將人、現實世界與虛擬世界的融合，更自然、真實地結合在一起。

在今年3月的Rokid Open Day上，Rokid發表了全新一代自研AR空間作業系統－YodaOS-Master：基於Rokid Max Pro眼鏡，張開手掌，菜單立刻浮現在眼前。點擊圖標，便可進入應用，享受靈動隨心所欲的空間多螢幕互動體驗。其中，業界首創以單一鏡頭為基礎即可實現SLAM及3D裸手互動等能力，此全新的技術路線，發布即引發業界的關注與熱議。

今天，中國開發者最重要的年度盛典之一「2023年Unity技術開放日」首站在北京隆重舉行，Rokid出席本次活動。會上Rokid系統研發總工程師石文峰帶來了主題為《Rokid YodaOS-Master系統介紹及應用開發與落地》的演講，分享了這一備受關注的技術路線，以及Rokid最新的技術發展，與現場開發者們進行了深入的交流與探討。

Rokid全新一代自研空間AR系統

業界首創單攝SLAM技術

在現今的遊戲論壇上，Rokid系統研發總工程師石文峰，結合多年豐富的AR產業技術研發經驗，向現場開發者們介紹了備受關注的YodaOS-Master系統，以及Rokid背後的技術思考。

圍繞著感知、理解、互動、展現、協同和數位創作五個方面，YodaOS-Master從晶片優化、硬體設計、軟體架構、AR演算法還有創作工具等許多方面都做了巨大升級，或是目前最完整的一套面向AR時代的太空作業系統。

基於Rokid Max Pro眼鏡，首創基於單一相機即可實現SLAM、3D裸手互動、第一視角分享、視覺定位VPS等能力，可支援多工運作、空間創作等AR體驗，給予更輕量化、普惠的AR眼鏡帶來無限可能。

在YodaOS作業系統誕生之初，Rokid就秉持著一個觀點，透過YodaOS作業系統賦能開發者，釋放想像力，創造價值。

石文峰表示，「YodaOS-Master作業系統透過模組化的方式，將Rokid語音辨識、手勢辨識、SLAM等在內的多項核心技術進行『打包』處理，形成SDK供開發者高效開發，例如SDK for Unity，可以讓Unity開發者快速使用Rokid核心技術進行開發。」

Rokid一直致力於更自然的AR互動體驗。相較於傳統的2D手勢識別，3D手勢辨識更具挑戰性。文峰老師聚焦在Rokid目前使用的單眼3D手勢辨識技術，這是基於YodaOS-Master底層系統能力實現的。

基於深度學習演算法和大量實驗數據，Rokid自研的單目3D手勢演算法能在行動端即時重建手部姿態參數，包括手部6DoF、手部關節點26DoF，以及Hand Mesh訊息，為AR的手勢互動提供良好的演算法基礎。

目前，Rokid的手勢辨識在3D空間中可實現多種操作，包括點、捏、抓、握、拖、拉等等，完全可以滿足AR互動應用需求。以Rokid Max Pro為例，只需戴上頭戴式裝置並伸出手，便可在手掌前方呼出菜單。

值得一提的是，Rokid軟硬體於一體的AR空間體驗已在全國多個場景落地，包括全國首個基於AR眼鏡的元宇宙街區項目——杭州文三元宇宙AR數字生活街區、全國文旅行業首個以單眼視覺SLAM為基礎的AR眼鏡導覽方案－敦煌AR智能導，以及釘釘攜手Rokid所打造的全國首個企業AR數位展廳等等。

若琪數字人 AIGC

多模態互動體驗全新升級

隨著AI時代的加速發展，人機互動方式的發展趨勢為多模態互動。未來人們對更深層需求的滿足，需要不僅限於單一的鍵盤互動、觸控互動、語音互動等方式。

試想，如果你想要邊聽音樂邊辦公的話，需要先透過語音或觸摸互動的方式喚醒音響，再透過鍵盤互動的方式開啟辦公室軟體。如果你有一個數位化的人工助手，一切事情都會變得簡單起來，只需要下達一條指令，就可以同時完成這兩項任務。

這也是Rokid當AI數字人的原因之一。石文峰表示，AI數位人技術可以串連繫統所有的能力，包括語音助理AI數位人、SLAM、3D手勢、6DOF空間音訊等Rokid核心技術，進而為使用者帶來更豐富的人機互動體驗。

目前，Rokid所打造的“若琪”數位人已經全面接入AIGC，用戶可以隨時喚起“若琪”，和這位虛擬助理探討任何有趣的話題。

石文峰介紹，這背後採用的是AIGC多模態數位智慧驅動的模式，透過ASR、NLP、TTS等自研演算法技術，驅動「若琪」產生準確的面部表情、語音表達、肢體動作，並且表現得更真實、自然、流暢。

Rokid全方位賦能開發者

共同迎接下一個人機互交時代

未來隨著AR、MR等技術的日益成熟，在觀影、遊戲、辦公室、教育等多種場景中會拓寬無限的創新空間。多重生態內容的重新構建，亟待開發者帶來更多突破與創新。

Unity技術開放日是中國開發者最重要的年度互動盛典之一，透過每年的若干場線下巡迴活動，為創作者群體搭建技術交流平台，傳達技術演進路徑，營建多元活躍的開發者社群氛圍，同時聆聽來自開發者的聲音，賦能即時3D技術的內容創新與應用延展。

Rokid身為AR產業領導企業，參與共促產業繁榮。當天的活動中，Rokid除了帶去最新的技術分享演講，還在現場設置展台區，帶來了包括Rokid最新AR產品與生態建設場景，供現場開發者們體驗，幫助他們更直觀地了解Rokid的最新技術與生態。

近年來，Rokid始終致力於賦能更多的開發者，打造了專門的AR開放平台（ar.rokid.com），推出了「若琪太空站」開發者助力計劃，舉辦全球範圍的AR應用開發競賽等，激勵開發者共同參與生態共建，促進AR生態繁榮。

文峰介紹，Rokid為開發者們量身打造的「若琪太空站」開發者輔助計劃，在硬體設備、演算法能力、開發支援、市場推廣等方面全方位支援開發者。同時，Rokid聯合多個產業頭部企業與VC成立10億人民幣規模的生態智投聯盟，對優秀的開發者直接進行投資。

Rokid not only provided strong support to developers, but also successfully hosted the first Global AR Application Development Competition and awarded 11 significant prizes to global developers.。 Rokid在今年5月正式發起首屆大學XR內容創作競賽，以激發全國大學的創新力量。

未來，Rokid願攜手更多合作夥伴，一起加入AR生態建構中，打造開放共贏的生態體系，持續為產業賦能，推動AR產業加快發展，共同迎接下一個人機互動時代。

以上是蘋果引領AR革命？ Unity科技開放日x Rokid，暢談下一代人機互動新路線的詳細內容。更多資訊請關注PHP中文網其他相關文章！