5년간의 비밀 연구개발! Google의 3D 'Magic Mirror' 테스트, 실제 사람들과 채팅할 때 '페이스허거'가 필요하지 않음

헤드 마운트 디스플레이에만 의존하여 메타버스에 들어갈 수 있나요?

아니요. 우리의 상상을 좀 더 마음껏 펼쳐보자.

거대 Google은 또 다른 솔루션을 내놓았습니다. 헤드 마운트 디스플레이 대신 3D "폰 부스"를 사용하는 것입니다!

스카이프나 줌에 익숙하신 분들이라면 처음으로 스타라인을 보시면 깜짝 놀라실 겁니다.

Google은 작년에 Project Starline 프로젝트를 공식 발표했습니다. 3D 이미지, 고해상도 카메라, 맞춤형 깊이 센서 및 획기적인 라이트 필드 디스플레이를 사용하는 화상 통화 부스입니다.

이는 화면 양쪽에 있는 발신자에게 매우 현실적인 경험을 선사합니다.

1년 후, Google의 홀로그램 영상 채팅 프로젝트인 Project Starline은 올해 후반에 파트너 사무실에 프로토타입을 설치하여 초기 테스트를 완료할 예정입니다.

Naked-eye 3D

Starline은 Google이 메타버스에 배치한 두 개의 체스 말 중 하나입니다(다른 하나는 AR 안경 Iris입니다).

Google은 5년 넘게 이 프로젝트를 진행해 왔습니다.

2021년 I/O 컨퍼런스에서 구글은 초고화질 영상 채팅방인 프로젝트 스타라인(Project Starline)을 공식 발표했습니다.

과거에는 스카이프나 줌 등 전통적인 영상 채팅 소프트웨어로는 감각 거리를 극복할 수 없었습니다. 당신과 채팅하고 있는 사람이 2D 평면에서 당신 반대편에 나타납니다. 그리고 그의 목소리는 분명히 휴대폰, 태블릿, 컴퓨터에서 나온 것이었습니다.

이 "음악과 비디오의 분리" 경험은 실제가 아닙니다.

이 '거리감'을 완전히 없앨 수 있을까요?

Google은 "Zoom을 거대한 앉아서 즐길 수 있는 아케이드로 바꿀 수 있을까요?"라는 질문을 던졌습니다.

Google은 5년 후 검은 기술인 Starline 3D 영상 통화 기술을 개발했습니다.

이 기술에는 두 가지 주요 특징이 있습니다. 하나는 실제이고 다른 하나는 장비를 착용할 필요가 없다는 것입니다.

65인치 라이트 필드 디스플레이와 사전에 배치된 12개 이상의 센서 및 카메라가 이러한 채팅방을 구성합니다.

효과가 꽤 리얼한 것 같네요.

이런 실제 사람의 모습이 카메라와 센서로 포착되어 상대방의 디스플레이에 직접 나타난 걸까요?

별로 그렇지 않습니다. 각 카메라와 센서의 역할은 다양한 각도에서 인물 사진을 촬영하고, 딥러닝을 사용해 실시간 압축을 수행하고, 이 데이터를 반대편으로 전송하고, 디스플레이 화면에 3D 아바타를 재구성하는 것입니다.

즉, 이 전화 부스에서 당신이 보는 것은 초상화의 "재구성"입니다.

이런 캐릭터 이미지의 실시간 재구성은 서로의 감정을 비교할 수 없을 정도로 현실감 있게 만들어줍니다. 마치 당신과 채팅하고 있는 사람이 실제로 당신 맞은편에 앉아 있는 것 같습니다.

이렇게 수집된 데이터의 전송은 일반 화상회의와 마찬가지로 WebRTC를 기반으로 하며, 구글 고유의 압축 알고리즘을 통해 양방향으로 실시간 3D 이미지 전송이 가능합니다.

영상 채팅 연결을 통해 3D 아바타를 전송하면 Google이 눈맞춤 문제를 해결할 수 있습니다. 일반 영상 채팅에서는 이것이 항상 문제였습니다. 과거에는 모니터에 탑재된 웹캠으로 인해 모니터를 볼 때 눈맞춤이 불가능했지만, 3D 아바타는 카메라 중앙과 모니터 중앙 사이의 단절을 메워주어 두 당사자 간의 눈맞춤을 가능하게 합니다.

Google은 4개의 Nvidia GPU(Quadro RTX 6000 2개 및 Titan RTX 2개)를 갖춘 강력한 듀얼 Xeon 워크스테이션에서 이 데이터를 처리하고 있습니다.

Starline의 또 다른 큰 특징은 장비를 착용할 필요가 없다는 것입니다.

네, 맞습니다. VR 헤드셋과 스마트 안경은 필요하지 않습니다!

구글이 앞서 공개한 컨셉맵에도 카메라와 센서가 테이블에 배치돼 있다.

약간의 장식을 하고 나면, 책상이 바로 앞에 있고, 채팅 상대가 책상 반대편에 앉아 있는 것 같은 착각까지 들게 될 것입니다.

Google이 제공한 기술 다이어그램에 따르면 이 장비 세트에는 모니터, 카메라, 스피커, 마이크, 조명기 및 컴퓨터가 포함된 디스플레이 장치와 적외선 백라이트가 포함된 디스플레이 장치가 포함됩니다. 벤치 시트 백라이트 유닛으로 사용됩니다. 두 장치 모두 벽과 천장을 향해 기울어진 흰색 LED 스트립을 포함하여 부드럽고 반사되는 조명을 만듭니다.

디스플레이는 65인치, 8K, 60Hz 무안경 입체 렌즈 패널로, 실물 크기의 육안 3D 뷰 아바타가 생성됩니다.

캡처 하위 시스템은 3개의 동기화된 3차원 RGBD 캡처 포드로 구성됩니다. 2개는 모니터 위에 있고 1개는 모니터 아래 "중간 벽"에 있습니다.

더 아래쪽에 있는 포드에는 피사체의 얼굴을 확대할 수 있는 추가 컬러 카메라가 포함되어 있습니다. 또한 4개의 흑백 추적 카메라 중 2개는 디스플레이 위에 있고 나머지 2개는 양쪽에 하나씩 눈, 귀, 입의 고속 광각 이미지를 캡처하는 데 사용됩니다.

렌더링 방법은 아래 사진과 같습니다.

그리고 포드는 위에서 언급한 RGBD 캡처 장치입니다.

이러한 방식으로 렌더링된 캐릭터의 효과는 더욱 현실적이고 생생합니다.

Starline은 고급 사운드 시스템도 갖추고 있습니다.

이 시스템은 화자 추적 빔포밍, 잔향 감소, WebRTC 전송, 화자/청취자 추적 가상 오디오 합성, 양이 누화 제거 주파수 분할 조합, 진폭 변환, 공간화된 오디오 및 동적 빔포밍 등을 사용합니다. 기술.

이러한 기술의 축복으로 마치 통화 중인 두 사람이 마주보며 대화하는 것 같습니다.

지난해 Google 엔지니어들은 이 기기가 표준 사무실 네트워크 환경에서 실행될 수 있다고 밝혔습니다. 스타라인 기술이 널리 홍보될 것으로 예상된다.

당시 Google은 가격에 대한 자세한 내용을 공개하지 않았습니다.

세로 7피트, 가로 7피트, 욕실 크기만한 6자리 전화 부스의 시장을 상상하기는 어렵지만 Google은 더 많은 테스트를 진행하고 있습니다.

얼굴을 껴안는 사람이 되지 마세요

지금까지 이 프로젝트의 진행 상황은 어떻습니까?

Google Cloud Next 2022에서 Google CEO Sundar Pichai는 홀로그램 영상 채팅 프로젝트(Project Starline)의 몇 가지 진전 사항을 소개했습니다.

Google은 Salesforce, WeWork, T-Mobile 및 Hackensack Meridian Health를 포함한 일부 파트너 사무실에서 정기적인 테스트를 실시할 것이라고 밝혔습니다.

WeWork와 Salesforce는 이 기술을 사용해 보는 데 관심이 있으며 이 기술이 사람들 간의 연결을 더욱 의미 있게 만들 수 있다고 주장했습니다.

현재까지 Project Starline은 Google 내에서 수천 시간 동안 테스트되었으며 미국 사무실에서 매일 사용되었습니다. 구글은 성명을 통해 "현재 미국 전역의 구글 사무실에서 프로젝트 스타라인의 프로토타입을 찾을 수 있으며 직원들은 매일 회의에 이 기술을 사용하고 있다"고 밝혔다. , 이 기술이 현실 세계에서 어떻게 사용될지, 어떤 과제에 직면할 수 있는지 이해할 수 있을 것입니다.

많은 사람들이 매우 멋지다고 생각하지만, 어떤 사람들은 스타라인 프로젝트가 결국 직장인들의 일상이 될 수 있을지 의문을 제기합니다.

광대한 기업 회의 장비 시장에 직면한 Starline에는 약간의 공간이 있습니다. 그러나 몇 가지 제한 사항으로 인해 Starline을 진지한 회의에 사용하기가 어렵습니다. 기업용 회의 장비는 테이블에 둘러앉은 대규모 그룹에 적합한 경우가 많으며, 폭넓은 호환성을 통해 누구나 거의 모든 하드웨어를 사용하여 회의를 시작할 수 있습니다.

그런데 스타라인은 1명과의 일대일 채팅만 지원하는데, 대통령 통화에만 사용할 수 있는 걸까요?

최근 구글은 기자를 초청해 스타라인 체험 테스트를 진행했습니다. 기자는 이를 다음과 같이 설명했다.

"전체 과정이 Zoom 통화보다 훨씬 자연스럽게 느껴졌다. 상대방의 움직임이나 대화에 눈에 띄는 딜레이가 없어서 대화하는 듯한 느낌이 들었다. 이상한 오디오 또는 시각적 지연 "

"작은 줌 창을 곁눈질하는 대신 실제 크기의 가상 사람과 실제 눈을 마주치고 있기 때문에 실제로 누군가와 함께 있다고 믿겠습니다." Starline을 그토록 설득력 있게 만드는 것은 단지 화면을 보는 것이 아니라 화면 앞에 있는 일련의 렌즈 또는 렌즈 배열을 보고 있다는 것입니다. 원리는 홀로그램 카드와 유사하며, 앞뒤로 흔들면 다양한 이미지나 3D 효과를 표시할 수 있습니다. Starline은 눈을 추적하여 표시되는 이미지의 위치를 ​​파악합니다.

마지막으로 기자는 "일대일 대화에 유용하며, 특히 진료실이나 고객에게 서비스를 제공해야 하는 장소에서는 아직 장기적인 상태가 알려지지 않았습니다."라고 결론지었습니다.

1년 전 이 프로젝트가 개편되면서 구글은 AR/VR 기술과 내부 R&D팀인 Area 120을 'Labs' 팀으로 개편했습니다.

그리고 지난달에도 구글은 120구역 인력을 절반으로 줄였습니다.

이는 현재 경제 상황에서 Google이 이러한 유형의 실험을 우선순위로 고려하지 않을 수 있음을 시사합니다. 일부 내부 Google 직원조차도 Project Starline이 여전히 존재하는지 확신하지 못합니다.

그래도 Starline은 다른 종류의 가상 현실에 대한 흥미로운 베팅입니다.

사람에게는 아바타가 필요하지 않습니다. 가상 세계에서는 실제 자아를 통해서만 연결할 수 있습니다.

몇일 전 Meta는 가장 비싼 고급 헤드셋인 Quest Pro도 출시했습니다.

그리고 Google은 현재 Meta처럼 카메라를 사용하여 눈과 얼굴 움직임을 추적하는 기술을 개발하지 않았습니다.

저희는 가상 현실에서 신체에 "다리를 추가"하는 방법을 연구한 것이 아니라 실제 사람을 표현하는 데 중점을 두었습니다.

가장 중요한 점은 '페이스 허거'처럼 얼굴에 착용하여 부담을 더할 필요가 없다는 점입니다.

동시에 점점 더 많은 기업이 하이브리드 업무 모델을 찾으려고 노력함에 따라 Starline은 오늘날 2D 영상 채팅의 격차를 해소할 수 있습니다.

2024년, 최초의 AR 헤드마운트 디스플레이 출시

사실 AR 헤드마운트 디스플레이 레이아웃 측면에서는 Google이 크게 뒤지지 않습니다.

올해 초, 이 문제에 정통한 두 사람은 Google이 AR 헤드셋 개발에 박차를 가하기 시작했다고 밝혔습니다. 이 헤드셋은 내부 코드명이 Project Iris이며 2024년 출시를 희망하고 있습니다.

그리고 Google은 2024년까지 Iris가 포함된 Starline을 출시할 예정입니다.

최신 Iris 헤드셋은 완전히 자체 개발된 Tensor 칩인 Google의 최신 프로세서를 사용하며 Android 시스템에서의 실행도 지원합니다.

새로운 운영체제에 관해서도 Google의 향후 연구 개발 계획에 포함되어 있습니다.

이 AR 장치는 외부 카메라를 사용하여 컴퓨팅 그래픽을 현실 세계와 혼합하여 Snap 및 Magic Leap과 같은 기존 AR 안경보다 더 몰입감 있는 혼합 현실 경험을 선사합니다.

전력 제약으로 인해 Google은 데이터 센터를 사용하여 일부 그래픽을 원격으로 렌더링하고 인터넷 연결을 통해 AR 안경으로 전송합니다.

프로젝트 아이리스는 구글 AR 글래스 개발의 전환점이라 할 수 있습니다.

구글은 이르면 2012년에 AR 글래스 프로토타입을 출시했습니다. 스키 고글과 유사하지만 외부 전원에 연결할 필요가 없습니다.

하드웨어 및 소프트웨어 업그레이드의 물결을 거쳐 2014년 미국 시장에 US$1,500의 가격으로 성공적으로 상륙했습니다. 그러나 2015년에는 여러 가지 부정적인 소식으로 인해 강제로 진열대에서 제외되었습니다.

이에 이어 Google은 2015년 I/O 컨퍼런스에서 'VR 안경 상자'를 출시했습니다. 이 장치는 매우 간단하며 주로 판지 한 장과 특수 플라스틱 렌즈 두 개로 구성됩니다.

2017년 구글은 AR 글래스의 적용을 산업계로 전환하기로 결정했습니다.

따라잡기 위해 서두르고 있음에도 불구하고 Google은 새로운 형태의 AR 하드웨어를 구축하는 데 있어 경쟁사보다 뒤처져 있는 것으로 보입니다.

이후 Google은 AR 안경의 하드웨어 개발에 눈에 띄게 침묵했으며, 시각적 검색 엔진인 Google Lens 및 Google 지도의 AR 길찾기와 관련된 소프트웨어 기능 개발에 집중하기로 결정했습니다.

2021년 메타버스 컨셉이 폭발적으로 증가하면서 많은 주요 제조업체들이 이 트랙에 대한 레이아웃을 출시했습니다.

사실 구글도 조용히 자신들만의 게임을 하고 있습니다. AR 헤드셋 아이리스(Iris)든, 홀로그램 영상통화 프로젝트 스타라인(Starline)이든.

Zha는 인터뷰에서 다음과 같이 말한 적이 있습니다. "VR의 마법은 당신이 다른 장소에 있고 그곳에 있는 사람들과 함께 있다는 것을 즉시 믿게 할 수 있다는 것입니다. 그의 아이디어는 홀로그램입니다. Starline은 정말 그렇습니다." 영웅들도 같은 것을 보았다는 일이 일어났습니다.

현재 세계 최대 기술 기업 두 곳은 비록 방식은 다르지만 아바타를 개선하기 위해 열심히 노력하고 있습니다. 메타는 메타버스 개념에 총력을 기울이고 있는 반면 Google은 사업을 인수하기 위해 열심히 노력하고 있습니다.

채팅방과 고가의 혼합 현실 디스플레이는 대부분의 사람들에게 실용적이지도 이상적이지도 않지만 실제로 성공을 거두는 일은 아마도 그 사이 어딘가에서 일어날 것입니다.

​参考资料:

https://techcrunch.com/2022/10/13/googles-3d-video-calling-booths-project-starline-will-now-be-tested-in-the-real-world /

https://www.theverge.com/2022/10/13/23400870/google-project-starline-3d-chat-booth-impressions

위 내용은 5년간의 비밀 연구개발! Google의 3D 'Magic Mirror' 테스트, 실제 사람들과 채팅할 때 '페이스허거'가 필요하지 않음의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!