Les points forts technologiques du camp virtuel en direct 3D du Taobao Creation Festival 2022 dévoilés

Le 24 août 2022, le Taobao Maker Festival fera ses débuts ! Afin d'explorer la prochaine génération d'expériences de magasinage immersives sur Internet, en plus de construire un « Camp du futur » panoramique de 20 000 mètres carrés dans le hall d'exposition hors ligne de la Foire de Canton, ce Festival de la Création a également lancé pour la première fois en ligne un espace interactif virtuel. "3D Crazy" qui peut accueillir des dizaines de milliers de personnes en ligne en même temps.

Dans le camp virtuel 3D, les utilisateurs peuvent découvrir les textures de jeu haute définition de manière légère et rejoindre le monde de "3D People and Goods Yard" en tant que personnages virtuels, interagir avec les joueurs et les produits 3D pour satisfaire la nouvelle génération de consommateurs. . Les exigences du groupe qui aime jouer et créer, apportent une nouvelle expérience de consommation avec une technologie innovante.

Jetons un coup d'œil à l'expérience et aux points forts techniques du camp virtuel 3D en direct :

"Jeu réel" 3D léger à l'œil nu

Une fois que vous avez aimé un jeu 3D et que le client a téléchargé plusieurs gigaoctets et je voulais y jouer, je dois désinstaller le nouveau jeu car il prend trop de mémoire ! Dans le camp virtuel du Festival de la Création, vous pouvez rapidement charger un "jeu" 3D interactif, diffusé en direct et haute définition à l'œil nu, que vous pouvez même acheter, et votre application Taobao "n'a pas du tout grossi". ." Chargement sur votre téléphone La vitesse est "huffante" ~

▐ Points forts techniques : le défi du coût du cloud

Le développement traditionnel d'applications de jeux 3D côté mobile nécessite souvent l'intégration de dizaines ou de centaines de jeux M moteurs à la fin, et cela nécessite également de télécharger plusieurs gigaoctets de ressources matérielles, ce qui est actuellement irréaliste dans l'application Taobao. L'utilisation du rendu cloud peut très bien résoudre ce problème. Avec l'aide d'un GPU puissant dans le cloud, les utilisateurs peuvent effectuer un rendu de scènes haute définition et complexe. Les utilisateurs n'ont pas besoin de télécharger de gros fichiers de ressources ou d'installer du contenu. pour lire le flux multimédia rendu en temps réel.

Mais le plus gros problème ici est le coût des machines de rendu cloud. Afin de réduire le coût des machines de rendu cloud, en plus du rendu cloud, nous réalisons également des stratégies d'optimisation des performances telles que la réduction de la surface du modèle, la fusion DP, l'optimisation des textures et la réduction de la résolution du matériel vidéo. En termes de planification des machines, une stratégie d'expansion et de contraction dynamique basée sur le temps a été développée sur la base de scénarios commerciaux afin de maximiser l'utilisation des machines.

Les personnes 3D et les produits 3D se rencontrent pour la première fois dans le monde virtuel 3D

Les utilisateurs 3D qui s'habillaient autrefois en "Taobao Life" "sont sortis" de chez eux pour la première fois et sont venus au camp virtuel 3D en direct de la Fête de la Création. Ici, vous pouvez sauter librement, allumer des feux de joie, visualiser des produits 3D, regarder les émissions en direct des vendeurs et interagir avec les joueurs. Des personnes 3D, des produits 3D et des environnements 3D sont combinés pour vous offrir une expérience d'aventure de camp immersive et merveilleuse.

▐ Points forts techniques : Construction et interaction du parc de personnes et de marchandises

Interaction entre les personnes. Placer les personnages 3D de Taobao Life dans le monde virtuel 3D nécessite d'abord certains coûts de conversion d'actifs et de rendu. La course de l'utilisateur dans le camp implique une synchronisation en temps réel de la position de l'utilisateur. Pour l'itinérance en temps réel des utilisateurs, nous utilisons la technologie de synchronisation de trame pour mettre à jour les informations de localisation des utilisateurs à une fréquence fixe. Idéalement, les utilisateurs ne se sentiront pas bloqués, mais la congestion du réseau provoque inévitablement une gigue entre les trames. cela provoquera un saut. Afin de combler cette lacune, nous utilisons un algorithme de compensation de mouvement lors du rendu des caractères. En termes simples, il utilise une simulation d'algorithme pour rendre la transition de mouvement de position de l'utilisateur plus fluide. Parallèlement, en termes de synchronisation des données interactives, l'algorithme de grille AOI est utilisé pour résoudre le problème de la synchronisation des données de plusieurs personnes sur le même écran. De cette façon, les personnages 3D fonctionneront plus facilement dans le monde virtuel.

Interaction entre les personnes et les produits. Il n'est pas facile pour les utilisateurs de visualiser librement les détails des produits 3D dans une scène virtuelle. Nous avons le choix entre deux options : l'une est le rendu mobile et l'autre est le rendu cloud. Le rendu mobile a également des solutions relativement matures dans Taobao Malheureusement, le moteur de rendu mobile et le moteur de rendu cloud ne sont pas le même ensemble, donc le même modèle de produit ne peut pas être utilisé universellement. En même temps, téléchargement dynamique du modèle, réduction de surface. L'optimisation, etc. doit également être prise en compte. Problème, afin d'éviter ces inconvénients, nous avons toujours choisi la solution de rendu cloud En changeant dynamiquement la perspective de la caméra et en répondant aux instructions interactives de l'utilisateur en temps réel, nous pouvons réaliser l'expérience de rotation. et zoomer pour regarder des produits 3D.

Résolution 1080P et qualité haute définition cool

Une fois que vous avez essayé le mini-jeu de page dans l'application mobile, il était aussi flou qu'une mosaïque. Vous avez couru, sauté et laissé tomber des images. Le nouveau camp virtuel 3D du Creation Festival présente des images haute définition, des effets fluides et l'éclairage de la scène peut vous suivre dynamiquement en tant que « star » ~

▐ Points forts techniques : production de contenu et transmission en temps réel du rendu cloud

Dans le cloud, nous utilisons Unreal Engine pour restituer des images en temps réel et combinons le mouvement dynamique du miroir, l'éclairage de scène dynamique, les personnages multi-vues, les effets de particules et d'autres technologies pour donner à l'image un aspect... Plus cool et plus interactif pour les utilisateurs. Afin de transmettre des images haute définition aux téléphones mobiles des utilisateurs, nous devons considérer de manière globale l'équilibre entre la qualité, le retard et le délai de l'image avec l'aide du réseau de transmission GRTN construit conjointement par Taobao et Alibaba Cloud, ainsi que par nous-mêmes. -Algorithmes d'encodage et de décodage développés, nous pouvons maximiser assurer la clarté de la qualité de l'image.

Écran virtuel interactif sans décalage

Une fois que vous étiez dans la salle de diffusion en direct de Taobao, comptez à rebours « 3, 2, 1, commencez à saisir ! » et ressentez le frisson des ventes flash à très faible latence. Mais vous, en dehors de l'écran, ne pouvez pas intervenir directement dans les actions du présentateur dans la salle de diffusion en direct par le biais d'une interaction. Dans le camp virtuel 3D, vous pouvez danser et dire bonjour, cliquer sur les produits 3D des commerçants, et regarder les explications de vos présentateurs préférés. Vous pouvez véritablement « communiquer avec les commerçants et les présentateurs dans le même cadre ».

▐ Points forts techniques : latence ultra-faible en liaison complète

Différent de la transmission d'images sans interférence, pour obtenir une expérience fluide à latence ultra-faible dans des conditions interactives, nous devons compléter les instructions d'utilisation en amont et en aval dans les 100 millisecondes. Rendu en temps réel de l'image et renvoi de l'image rendue au téléphone mobile de l'utilisateur. Tout d'abord, il est nécessaire de prendre en compte de manière exhaustive les conditions de la machine, du réseau et du point d'accès de l'utilisateur pour sélectionner dynamiquement le nœud push le plus proche de l'utilisateur, ajustant ainsi la stratégie cloud push (y compris la définition et la sélection de la méthode de codage). Deuxièmement, pendant le processus de transmission, des stratégies de contrôle de réseau faibles telles que le retour de bande passante en temps réel, la FEC et les tampons dynamiques doivent être utilisées pour lutter contre la gigue du réseau, afin que l'ensemble du retard de liaison atteigne une position raisonnable et, finalement, permette une interaction dans le monde virtuel. Assurez une expérience interactive fluide.

Conclusion

Ce camp virtuel 3D du Creation Festival est la première tentative en ligne de la série "3D Crazy City" de l'espace interactif virtuel de Taobao. Dans la prochaine étape, nous combinerons le rendu en temps réel dans le cloud et la technologie XR/CG pour réaliser une personnalisation de scènes virtuelles, prendre en charge une interaction utilisateur en temps réel à plus grande échelle et offrir une expérience interactive plus immersive aux consommateurs.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!