2022 Taobao Creation Festival 3D 라이브 가상 캠프 기술 하이라이트 공개

2022년 8월 24일, 타오바오 메이커 페스티벌이 시작됩니다! 차세대 인터넷 몰입형 쇼핑 경험을 탐색하기 위해 오프라인 캔톤페어 전시장에 20,000제곱미터 규모의 파노라마식 '미래 캠프'를 구축하는 것 외에도 이번 창작 페스티벌에서는 최초로 온라인으로 가상 인터랙티브 공간도 출시했습니다. 온라인으로 수만 명을 동시에 수용할 수 있는 '3D 크레이지' 도시창조 페스티벌 가상 캠프'.

3D 가상 캠프에서 사용자는 가벼운 방식으로 고화질 게임 텍스처를 경험할 수 있으며 가상 캐릭터로 "3D 사람과 물건 마당"의 세계에 참여하고 플레이어 및 3D 제품과 상호 작용하여 새로운 세대의 소비자를 만족시킬 수 있습니다. . 놀고 창조하는 것을 좋아하는 그룹의 요구는 혁신적인 기술로 새로운 소비자 경험을 제공합니다.

3D 라이브 가상 캠프의 경험과 기술적 하이라이트를 살펴보겠습니다.

경량 육안 3D "실제 게임"

3D 게임에 마음에 들었고 클라이언트가 몇 기가바이트를 다운로드한 경우 하고 싶었는데 메모리를 너무 많이 차지해서 새 게임을 제거해야 해요! 창조 축제의 가상 캠프에서는 구매할 수도 있는 육안 3D, 대화형, 라이브 스트리밍, 고화질 "게임"을 빠르게 로드할 수 있으며, Taobao 앱은 "전혀 더 커지지 않았습니다" ." 휴대폰에 로딩 속도는 "윙윙"~

▐ 기술적 하이라이트: 클라우드 비용의 과제

모바일 측의 전통적인 3D 게임 애플리케이션 개발에는 수십 또는 수백 개의 M 게임 통합이 필요한 경우가 많습니다. 결국에는 엔진이 필요하며, 또한 수 기가바이트의 자료 리소스를 다운로드해야 하는데 이는 현재 Taobao 앱에서는 비현실적입니다. 클라우드 렌더링을 사용하면 이 문제를 매우 효과적으로 해결할 수 있습니다. 클라우드의 강력한 GPU 덕분에 사용자는 대용량 리소스 파일을 다운로드하거나 콘텐츠를 설치할 필요가 없습니다. 실시간 렌더링된 미디어 흐름을 재생합니다.

하지만 여기서 가장 큰 문제는 클라우드 렌더링 머신의 비용입니다. 클라우드 렌더링 기계 비용을 줄이기 위해 클라우드 렌더링 외에도 모델 표면 축소, DP 병합, 텍스처 최적화, 영상 자료 해상도 감소 등의 성능 최적화 전략도 수행합니다. 기계 스케줄링 측면에서는 기계 활용도를 극대화하기 위해 비즈니스 시나리오를 기반으로 시간 기반의 동적 확장 및 축소 전략을 개발했습니다.

3D 인물과 3D 제품이 3D 가상 세계에서 처음으로 만나다

한때 '타오바오 라이프'에서 분장한 3D 유저들이 처음으로 집 밖으로 '걸어서' 라이브 3D 가상 캠프에 왔습니다. 창조축제. 여기에서는 자유롭게 점프하고, 모닥불을 피우고, 3D 제품을 보고, 판매자의 라이브 방송을 시청하고, 플레이어와 상호 작용할 수 있습니다. 3D 인물, 3D 제품 및 3D 환경이 결합되어 몰입감 있고 멋진 캠프 모험 경험을 제공합니다.

▐ 기술 하이라이트: 사람과 물품 마당의 건설 및 상호 작용

사람 간의 상호 작용. Taobao Life의 3D 캐릭터를 3D 가상 세계에 배치하려면 먼저 특정 자산 변환 및 렌더링 비용이 필요합니다. 사용자가 캠프 주변을 뛰어다니는 것은 사용자의 위치를 ​​실시간으로 동기화하는 것과 관련이 있습니다. 사용자의 실시간 로밍을 위해 프레임 동기화 기술을 사용하여 고정된 빈도로 사용자 위치 정보를 업데이트합니다. 이상적으로는 사용자가 정체감을 느끼지 않지만, 동기화 시간이 일정 간격을 초과하면 네트워크 정체로 인해 필연적으로 프레임 간 지터가 발생합니다. 점프가 발생합니다. 이러한 단점을 보완하기 위해 캐릭터를 렌더링할 때 모션 보상 알고리즘을 사용합니다. 간단히 말하면 알고리즘 시뮬레이션을 사용하여 사용자의 위치 이동 전환을 더 부드럽게 만듭니다. 동시에 대화형 데이터 동기화 측면에서 AOI 그리드 알고리즘을 사용하여 동일한 화면에서 여러 사람의 데이터 동기화 문제를 해결합니다. 이러한 방식으로 3D 캐릭터는 가상 세계에서 더욱 원활하게 실행됩니다.

사람과 제품의 상호작용. 사용자가 가상 ​​장면에서 3D 제품의 세부 사항을 자유롭게 보는 것은 쉽지 않습니다. 하나는 모바일 렌더링이고 다른 하나는 클라우드 렌더링 중 하나를 선택할 수 있습니다. 모바일 렌더링도 Taobao에서 상대적으로 성숙한 솔루션을 보유하고 있습니다. 불행하게도 모바일 렌더링 엔진과 클라우드 렌더링 엔진은 동일한 세트가 아니므로 동일한 제품 모델을 동시에 사용할 수 없습니다. 모델의 동적 다운로드, 표면 축소. 최적화 등도 고려해야 합니다. 문제는 이러한 단점을 피하기 위해 여전히 클라우드 렌더링 솔루션을 선택했습니다. 카메라 관점을 동적으로 전환하고 사용자의 대화형 지시에 실시간으로 응답함으로써 회전하는 경험을 얻을 수 있습니다. 그리고 3D 제품을 보기 위해 확대/축소를 하기도 합니다.

1080P 해상도와 시원한 고화질

한번 모바일 앱에서 페이지 미니게임을 해보니 모자이크처럼 흐릿하고 뛰고 프레임이 떨어졌습니다. 창작페스티벌의 새로운 3D 가상캠프는 고화질 영상과 부드러운 효과, 역동적인 무대조명이 당신을 '스타'로 추적합니다~

▐ 기술 하이라이트: 클라우드 렌더링의 콘텐츠 제작 및 실시간 전송

클라우드에서는 Unreal Engine을 사용하여 실시간 이미지를 렌더링하고 동적 거울 움직임, 동적 무대 조명, 멀티뷰 캐릭터, 파티클 효과 및 이미지를 더욱 멋지고 사용자에게 더 인터랙티브하게 보이게 만드는 다른 기술. 고화질 이미지를 사용자의 휴대폰으로 전송하기 위해서는 타오바오와 알리바바 클라우드가 공동으로 구축한 GRTN 전송 네트워크의 도움으로 화질, 지연, 지연의 균형을 종합적으로 고려해야 합니다. -인코딩 및 디코딩 알고리즘을 개발하여 화질의 선명도를 극대화할 수 있습니다.

지연 없는 인터랙티브 가상 화면

타오바오 앵커의 생방송실에서 "3, 2, 1, 잡기 시작!"을 카운트다운하고 초저지연 플래시 세일의 스릴을 느낀 적이 있습니다. 하지만 화면 밖에서는 인터랙션을 통해 생방송 방에서 진행자의 행동에 직접 개입할 수 없습니다. 3D 가상캠프에서는 춤도 추고 인사도 할 수 있고, 상인의 3D 상품을 클릭하고, 마음에 드는 앵커의 설명도 시청할 수 있어 진정한 '한 프레임 안에서 상인, 앵커와 소통'할 수 있습니다.

▐ 기술 하이라이트: 풀 링크 초저 대기 시간

간섭 없는 사진 전송과 달리 대화형 환경에서 초저 대기 시간의 원활한 경험을 달성하려면 사용자의 업스트림과 다운스트림을 완료해야 합니다. 100밀리초 이내에 사진을 실시간으로 렌더링하고 렌더링된 사진을 사용자의 휴대폰으로 반환합니다. 우선, 사용자의 머신, 네트워크, 액세스 포인트 조건을 종합적으로 고려하여 사용자에게 가장 가까운 푸시 노드를 동적으로 선택하고 이를 통해 클라우드 푸시 전략(정의 및 인코딩 방법 선택 포함)을 조정해야 합니다. 둘째, 전송 프로세스 중에 실시간 대역폭 피드백, FEC 및 동적 버퍼와 같은 약한 네트워크 제어 전략을 사용하여 네트워크 지터를 방지하여 전체 링크 지연이 합리적인 위치에 도달하고 궁극적으로 네트워크에서 상호 작용을 달성해야 합니다. 가상 세계에서 원활한 대화형 경험을 보장하세요.

결론

이 창작 페스티벌 3D 가상 캠프는 타오바오 가상 인터랙티브 공간 '3D 크레이지 시티' 시리즈의 첫 번째 온라인 시도입니다. 다음 단계에서는 클라우드 실시간 렌더링과 XR/CG 기술을 결합하여 가상 장면 맞춤화를 실현하고 대규모 실시간 사용자 상호 작용을 지원하며 소비자에게 더욱 몰입감 있는 상호 작용 경험을 제공할 것입니다.

위 내용은 2022 Taobao Creation Festival 3D 라이브 가상 캠프 기술 하이라이트 공개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!