5年秘密研發！ Google3D「魔鏡」實測，真人聊天不用「抱臉蟲」
- PHPz轉載
- 2023-04-13 23:37:041117瀏覽
進入元宇宙，只能靠頭顯嗎？
非也。讓我們的想像力再放飛一點。
巨人Google給了另一個方案：不用頭顯，用3D「電話亭」！
如果你平常用慣了skype或zoom，第一次見到starline時，你一定會大吃一驚。
Google在去年宣布了Project Starline計畫。它是一個視訊通話亭，使用3D影像、高解析度相機、客製化的深度感應器和突破性的光場顯示。
這為螢幕兩邊的通話者創造了極其逼真的體驗。
時隔一年，Google全像視訊聊天專案Project Starline將在今年稍後在合作夥伴辦公室安裝原型，完成初步測試。
裸眼3D
Starline是Google在元宇宙中布下的兩枚棋子之一（另一枚是ARIris）。
這個項目，Google已經醞釀了五年多了。
2021的I/O大會上，Google官宣了一個超高解析度視訊聊天室Project Starline專案。
以往，skype或zoom之類的傳統視訊聊天軟體並不能克服感官上的距離感。和你聊天的人，是以2D平面的形式出現在你對面。而ta的聲音，也明顯是從手機、平板或是電腦傳出來的。
這種「音畫分離」的體驗，並不真實。
有沒有可能徹底消除這種「距離感」？
Google提出了一個問題，「可不可以把Zoom變成一個巨大的坐式街機？」他們成功了。
耗時五年，Google研發了一款黑科技－Starline3D視訊通話技術。
這項技術有兩大亮點：一個是真實，另一個是無需佩戴任何裝置。
一個65吋的光場顯示屏，外加預先佈置的十幾個感測器和鏡頭，就構成了這樣一個聊天室。
看起來，效果相當真實。
這麼真實的人物外貌，是被攝影機和感測器拍下來，直接顯示在對方的顯示器上的嗎？
#不是。每個攝影機和感測器的作用，是透過不同角度捕捉人像，利用深度學習進行即時壓縮，把這些數據傳輸到對面，在顯示器上重建成3D化身。
#也就是說，在這個電話亭裡，你看到的是對人像的「重建」。
這種即時重建的人物影像，讓彼此的感受變得無與倫比的真實。就好像跟自己聊天的人，真真切切地坐在自己對面一樣。
這些採集到的資料的傳輸，和與普通的視訊會議一樣，都是基於WebRTC，而Google獨特的壓縮演算法使得雙向即時傳輸3D影像成為可能。
透過視訊聊天連線傳輸3D化身，讓Google能夠解決眼神接觸的問題。在普通的視訊聊天中，這一直是個麻煩。在以往，顯示器上面的網路攝影機使得人們在看顯示器時不可能有眼神接觸，而3D化身可以彌補攝影機中心和顯示器中心之間的脫節，使雙方有眼神接觸。
Google正在一個強大的雙Xeon工作站中處理這些數據，這個工作站有四個英偉達GPU（兩個Quadro RTX 6000和兩台Titan RTX）。
Starline的另一個特點是不需要穿戴任何裝置。
是的，你沒聽錯，VR頭戴裝置、智慧眼鏡，通通不需要！
甚至，在Google先前發布的概念圖上，相機和感測器都放在一張桌子裡。
稍加裝飾之後，你甚至會產生這樣一種錯覺：眼前是你的書桌，而和你聊天的人就坐在書桌對面。
根據Google給出的技術圖，這套裝置包括：一個包含顯示器、相機、揚聲器、麥克風、照明器和計算機的顯示單元，和包含紅外線背光並用作bench seat的背光單元。兩個單元都包含向牆壁和天花板傾斜的白色LED燈條，用於產生柔和的反射照明。
顯示器是一個 65 吋、8 K、60 Hz的自動立體透鏡面板，就是在它上面生成真人大小的裸眼3D視圖化身。
而擷取子系統由三個同步立體的RGBD擷取pod組成：兩個在顯示器上方，一個在顯示器下方的「中牆」(middle wall)中。
更下方的pod包含一個額外的彩色相機，用來放大主體的臉部。另外，四個單色追蹤相機中的兩個在顯示器上方，其餘兩個一側一個，用於捕捉眼睛、耳朵和嘴巴的高速廣角影像。
渲染的方式如下圖所示。
而pod就是上述提到的RGBD捕捉裝置。
這樣渲染出的人物影響，更逼真，栩栩如生。
Starline也配備了進階的聲音系統。
這套系統使用了talker-tracked波束成形、殘響消減、WebRTC傳輸、talker/listener-tracked虛擬音訊合成、雙耳串擾消除分頻組合、振幅平移、空間化音訊和動態波束成形等技術。
有了這些技術的加持，就彷彿通話的兩個人在面對面說話一樣。
去年，Google工程師表示，這套裝置在標準辦公室網路環境下就可以運作。看來Starline技術是被寄望於廣泛推廣的。
當時，Google並未揭露更多有關價格的細節。
很難想像這個7*7英尺、大小如同一個浴室的六位數電話亭有多大市場，但谷歌正在推進更多的測試。
不要「抱臉蟲」
時至今日，這項計畫進展如何？
Google Cloud Next 2022上，GoogleCEO桑達爾‧皮查伊介紹了在全像視訊聊天專案（Project Starline）上取得的一些進展。
Google則聲稱，它將在選定的合作夥伴辦公室進行定期測試，其中就包括Salesforce、WeWork、T-Mobile和Hackensack Meridian Health。
WeWork 和Salesforce表示，他們有興趣嘗試這項技術，並認為這項技術可以讓人與人之間的連結變得更有意義。
到目前為止，Starline專案已經在Google內部進行了數千小時的測試，並在其美國辦公室每天使用。
#Google在聲明中說：「今天，在美國各地的Google辦公室都可以找到Starline專案的原型，員工每天都在使用該技術進行會議。」
當這項專案推向實測後，便可以了解這種技術將如何在現實世界中使用，以及它可能面臨什麼樣的挑戰。
許多人認為其非常酷，但也有人質疑Starline計畫是否最終能夠成為職場人士日常生活一部分。
#面對廣大的企業會議設備市場，Starline確實有一些空間。但有些限制使得Starline難以用於嚴肅的會議。企業會議設備通常適用於坐在桌旁的一大群人，廣泛的兼容性使得任何人都可以使用幾乎任何硬體來發起會議。
#然而Starline只支援一個人進行一對一聊天，恐怕只能用於打總統電話？
近日，Google曾邀請一位記者對Starline進行體驗測試。這位記者描述如下：
「整個過程感覺比Zoom通話自然得多。對方的動作和我們的談話都沒有明顯的延遲，所以說話就像在說話。沒有任何奇怪的音訊或視覺延遲。」
#「我會相信我真的和某人在一起，因為我正在與全尺寸的虛擬人進行真正的眼神交流，而不是瞇著眼睛看著一個小小的Zoom窗口。」
Starline之所以如此令人信服的部分原因在於，你不僅在看螢幕，而且在看螢幕前的一系列鏡頭，或者說透鏡陣列。這個原理類似於全像卡，當你來回搖晃它們時，它可以顯示不同的圖像或3D效果。而Starline會透過追蹤你的眼睛，來了解將顯示給你的影像指向何處。
最後，這位記者總結道：「它對於一對一的對話很有用，尤其是醫生辦公室或需要服務客戶的地方。」
一直以來，Starline計畫在Google的長期地位一直不為人知。
一年前，這項計畫也進行了重組，Google將其AR/VR技術和內部研發團隊Area 120重新組成「Labs」團隊。
而在上個月，Google也將Area 120人員數量削減了一半。
這表明，在當前的經濟環境下，Google可能不會把這類試驗視為優先事項。即便是一些谷歌內部員工也不確定Project Starline是否還存在。
即便是這樣，Starline依然讓人振奮，是對另一個虛擬實境的押注。
人們並不需要Avatar，僅透過真實自我就可以實現在虛擬世界中的連結。
最重要的是，不用像「抱臉蟲」一樣戴在臉上，增加負擔。
同時，隨著越來越多的企業試圖找到工作模式的混合未來，而Starline正好可以彌補現今2D視訊聊天的差距。
2024，攜首款AR頭顯上市
其實，在AR頭顯上的佈局，Google也不甘落後。
今年年初，兩位知情人士透露，Google已開始加緊研發AR頭顯，內部代號為Project Iris，希望在2024 年上市。
並且Google希望在2024年之前與Iris一起發布Starline。
最新Iris頭戴裝置將採用Google最新處理器，全自研的Tensor晶片，而且也支援在安卓系統上運作。
至於全新的作業系統，也在Google未來研發計畫中。
這款AR裝置使用外向相機將運算圖形與現實世界融合，創造出比Snap和Magic Leap等現有AR眼鏡更身臨其境的混合實境體驗。
由於電量的限制，Google會使用其資料中心去遠端渲染一些圖形，並透過網路連線將它們傳送到AR眼鏡中。
Project Iris項目，可以說，是GoogleAR眼鏡研發的轉捩點。
早在2012年，Google就發表了一台AR眼鏡的原型機。類似一副滑雪護目鏡，而且不需要與外部電源連接。
隨著一波硬體和軟體的升級，2014年成功登陸美國市場，售價1500美元。然而，在2015年卻因為各種負面新聞而被迫下架。
緊接著，2015年，Google在其I/O大會上發布了一款「VR眼鏡盒」。其裝置非常簡單，主要由一塊硬紙板與兩塊特殊的塑膠鏡片組成。
到了2017年，Google決定將AR眼鏡的應用轉向工業。
儘管急於追趕，但Google在打造新形式的AR硬體方面似乎落後於同行。
此後，Google在AR眼鏡的硬體研發上明顯保持沉默，並且選擇專注於研發Google Lens、視覺搜尋引擎和Google地圖中的AR方向相關的軟體功能。
隨著2021年元宇宙概念大爆發，許多大廠紛紛在賽道上展開佈局。
其實，Google也在悄悄下自己的這盤棋。不論是AR頭顯Iris，還是全像視訊通話專案Starline。
小札曾在訪談中說：「VR 的魔力在於，它可以立刻讓你相信你在另一個地方，並且和那裡的人在一起。」他的構想是全像圖，而Starline也正好英雄所見略同了。
現在，世界上最大的兩家科技公司正在努力改善虛擬形象，雖然方法不同：Meta正全力以赴地提出元宇宙的概念，而Google 正在努力接管企業。
對大多數人來說，聊天室和昂貴的混合實境顯示器既不實用也不理想，但真正起飛的東西，可能會發生在兩者之間的某個地方。
#參考資料：
https://techcrunch.com/2022/10/13/googles-3d-video-calling-booths-project-starline-will-now-be-tested-in -the-real-world/
https://www.theverge.com/2022/10/13/23400870/google-project-starline-3d-chat-booth-impressions
以上是5年秘密研發！ Google3D「魔鏡」實測，真人聊天不用「抱臉蟲」的詳細內容。更多資訊請關注PHP中文網其他相關文章！