Brevet d'estimation de la posture humaine parallèle : la technologie Microsoft AR/VR réalise une représentation virtuelle

(Nwe le 13 novembre 2023) Les informations sur les postures des utilisateurs humains peuvent être mappées à des représentations virtuelles articulées. Par exemple, lors de la participation à un environnement de réalité virtuelle, les performances d'un utilisateur humain dans l'environnement virtuel présenteront des postures similaires aux postures du monde réel. La pose réelle de l'utilisateur peut être convertie en pose d'une représentation articulée virtuelle par un modèle préalablement entraîné, et le modèle peut être entraîné pour produire la même pose de représentation articulée virtuelle pour un rendu final.

Parfois, le système doit afficher des performances irréalistes. Par exemple, les utilisateurs peuvent choisir des personnages de dessins animés avec différentes proportions corporelles, os ou autres aspects

Comme le montre la figure 1, un utilisateur humain 100 dans un environnement réel 102 est représenté. Comme on peut le constater, les gestes de l'utilisateur humain sont appliqués à la représentation articulée 104. Autrement dit, lorsqu'un utilisateur humain effectue des activités dans un environnement réel, les actions correspondantes se traduisent en mouvements de la représentation articulée 104 dans l'environnement virtuel 106

Parfois, la représentation de l'articulation virtuelle peut être différente de la représentation utilisée pour entraîner le modèle et doit être réécrite. Pour résoudre ce problème, le brevet Microsoft « Concurrent human poseestimates for virtualpresentation » introduit une technologie qui peut estimer simultanément les poses de la représentation articulée modèle et de la représentation articulée cible

Plus précisément, le système informatique reçoit des données de positionnement de paramètres détaillés d'une ou plusieurs parties du corps d'un utilisateur humain sur la base au moins en partie d'une entrée provenant d'un ou plusieurs capteurs. Ces capteurs peuvent inclure la sortie de la centrale inertielle du casque, ainsi que la sortie de la caméra appropriée

Le contenu réécrit est le suivant : Le système maintiendra simultanément une ou plusieurs contraintes de mappage de la représentation conjointe modèle associée à la représentation conjointe cible, telles que des contraintes de mappage conjoint. L'opportunité d'optimisation de pose utilise des données de positionnement et des contraintes de mappage pour estimer simultanément la pose représentée par les articulations du modèle et la pose cible représentée par les articulations cibles. Une fois l'estimation terminée, le système peut afficher la représentation conjointe cible ainsi que la pose cible sous forme de représentation virtuelle que les utilisateurs humains peuvent visualiser

La machine d'optimisation de pose peut être entraînée à l'aide de données de positionnement d'entraînement avec des étiquettes de vérité terrain pour la représentation articulée du modèle. Cependant, les données de localisation d'entraînement peuvent manquer d'étiquettes de vérité terrain pour les représentations d'articulation cible.

Grâce à cette approche, une reproduction précise des poses du monde réel peut être obtenue efficacement sans avoir besoin de calculs d'entraînement coûteux pour chaque cible potentielle différente. Une description inventive de cette technologie peut avoir un impact positif sur les utilisateurs humains

Lorsque les utilisateurs participent à un environnement virtuel, ils peuvent choisir un avatar différent pour se représenter et changer d'apparence à tout moment pendant le processus de communication. De nouvelles représentations articulées cibles peuvent être ajoutées au menu des représentations disponibles pour la sélection par l'utilisateur sans avoir à recycler le modèle pour une représentation spécifique, économisant ainsi sur les coûts de calcul

La technologie décrite dans l'invention peut offrir l'avantage technique de réduire la consommation de ressources informatiques tout en recréant avec précision la pose réelle d'un utilisateur humain et en permettant d'appliquer la pose précise à l'une quelconque de multiples représentations d'articulation cible différentes. La méthode spécifique consiste à estimer simultanément la pose de la cible et du modèle.

Un exemple de méthode de représentation virtuelle de la pose humaine 200 est présenté dans la figure 2

En 202, des données de positionnement de paramètres détaillés d'une ou plusieurs parties du corps de l'utilisateur humain sont reçues sur la base d'une entrée provenant du ou des capteurs.

En 204, une ou plusieurs contraintes de cartographie liées à la représentation articulée cible doivent être maintenues pour assurer la connexion du modèle. Comme le montre la figure 4, un exemple de modèle de représentation articulée 400

est présenté.

Comme mentionné ci-dessus, la représentation articulée cible est rendue pour être affichée dans l'environnement virtuel et peut être affichée en produisant la pose cible via la machine d'optimisation de pose. Par exemple, la représentation articulée cible peut avoir n'importe quelle apparence et proportions appropriées, et peut avoir n'importe quel nombre approprié de membres, d'articulations et/ou d'autres parties du corps mobiles.

Cela peut être réécrit comme suit : La représentation articulée cible peut représenter un animal non humain, un personnage fictif ou tout autre avatar approprié. La représentation articulée modèle et la représentation articulée cible sont liées via une ou plusieurs contraintes de mappage 402

Une ou plusieurs contraintes de mappage peuvent inclure des contraintes de mappage conjointes 404. Pour les articulations dans une représentation articulée cible, une contrainte de mappage d'articulation spécifie un ensemble d'une ou plusieurs articulations dans la représentation articulée du modèle. Par exemple, la représentation articulée modèle 400 comprend une pluralité d'articulations, dont deux sont étiquetées 403A et 403B, qui correspondent à l'articulation de l'épaule et à l'articulation du coude.

L'articulation cible n°104 comprend des articulations similaires 405A et 405B. Par conséquent, les articulations 405A et 405B de la représentation cible peuvent avoir plusieurs contraintes de mappage d'articulation différentes représentant le mappage de ces articulations aux articulations 403A et 403B de la représentation modèle

Les contraintes de mappage des articulations peuvent spécifier davantage le poids de chaque articulation du modèle lors du mappage avec la représentation de l'articulation cible. Par exemple, lorsque la représentation articulée d'un modèle n'a qu'une seule articulation mappée à une articulation spécifique de la représentation articulée cible, le poids des articulations de ce modèle peut être de 100 %. Lorsque deux articulations modèles sont mappées sur des articulations cibles, les poids des deux articulations modèles peuvent être de 50 % et 50 %, 30 % et 70 %, 10 % et 90 %, etc.

Sur la figure 2, la méthode 200 estime simultanément la pose modèle représentée par l'articulation modèle et la pose cible représentée par l'articulation cible en optimisant la pose précédemment entraînée. L'estimation de la pose du modèle et de la pose cible repose au moins en partie sur les données de positionnement

La figure 5A montre schématiquement un exemple de machine d'optimisation de pose 500, qui peut être mise en œuvre sous la forme de n'importe quelle combinaison appropriée de composants logiques informatiques. À titre d'exemple non limitatif, la machine d'optimisation de pose 500 peut être implémentée en tant que sous-système logique 602 comme le montre la figure 6.

Comme le montre la figure 5A, la machine d'optimisation d'attitude estime simultanément la pose modèle 502A représentée par l'articulation modèle et la pose cible 502B représentée par l'articulation cible. Ceci est accompli sur la base au moins en partie des données de positionnement 504 et d'une ou plusieurs contraintes de mappage 506.

L'estimation des poses peut être réalisée, au moins en partie, sur la base d'une ou plusieurs poses de modèle précédentes et de poses cibles précédentes estimées à une ou plusieurs périodes précédentes. Par conséquent, la machine d'optimisation de pose 500 stocke plusieurs poses précédentes 506, qui peuvent être représentées sous forme de multiples rotations locales pour chaque articulation modèle.

Une ou plusieurs contraintes de mappage peuvent inclure des contraintes de continuité de pose, qui imposent des contraintes d'image à image sur la mesure dans laquelle la rotation locale d'une articulation donnée peut changer d'une image à l'autre. Un ensemble de contraintes de cartographie peut être appliqué pour poser une continuité afin de contraindre la rotation locale d'une articulation donnée en limitant le degré de changement d'une image à l'autre

La figure 5B montre schématiquement le processus d'application des poses estimées de modèle et de cible pour modéliser et cibler des représentations articulées. Plus précisément, la figure 5B montre à nouveau les postures par défaut 407A et 407B correspondant à la représentation articulée modèle 400 et à la représentation articulée cible 104. Ensuite, en changeant la direction de l'articulation, la représentation d'articulation modèle 400 prend la pose modèle 502A, et la représentation d'articulation cible 104 prend la pose cible 502B

En optimisation de pose, il est nécessaire d'estimer la pose du modèle et la pose de la cible en même temps. En d’autres termes, contrairement à d’autres méthodes, la machine d’optimisation de pose ne génère pas d’abord la représentation de pose du modèle, puis ne la convertit pas en représentation de pose de la cible. En revanche, l'estimation de la pose est le processus consistant à trouver simultanément la pose du modèle et la pose cible qui satisfont un ensemble de contraintes

Par exemple, la pose de la représentation articulée modèle peut être contrainte par un entraînement préalable d'une machine d'optimisation de pose pour produire des poses humaines possibles étant donné un ensemble de données de positionnement, et la pose de la représentation articulée cible peut être contrainte en reliant la cible articulée représentation au modèle représentation articulée Contrainte liée à une ou plusieurs contraintes de mappage.

De plus, dans la formation précédente, l'estimation de pose peut être implémentée par le modèle d'apprentissage automatique 508 qui effectue l'optimisation de pose. Dans un exemple, la machine d'optimisation de pose peut être configurée pour produire une pose sur la base de données de positionnement d'entrée clairsemées. En d'autres termes, la machine d'optimisation de pose peut être entraînée pour produire des estimations de pose plus précises, qui dépendent d'un plus grand nombre de paramètres d'entrée reçus au moment de l'exécution

En d'autres termes, les données de positionnement reçues par la machine d'optimisation de posture peuvent contenir les paramètres de rotation de n articulations de l'utilisateur humain. Lors de la formation précédente, la machine d'optimisation d'attitude a reçu en entrée les paramètres de rotation de n+m articulations, où m est supérieur à 1. Ensuite, la pose estimée du modèle peut être déterminée en estimant les paramètres de rotation des n+m articulations du modèle représentés par l'articulation du modèle, ce qui nécessite au moins des paramètres de rotation basés sur n articulations, mais pas sur m articulations

De plus, lors de la formation de la machine d'optimisation d'attitude, il n'est pas nécessaire d'inclure l'étiquette de vérité terrain de la représentation articulée cible. Au lieu de cela, la représentation articulée cible est associée à la représentation articulée du modèle via une ou plusieurs contraintes de mappage, contraignant généralement la pose cible à être sensiblement similaire à la pose du modèle

Microsoft souligne qu'en utilisant la technologie ci-dessus, la vitesse du processus peut être augmentée de deux ordres de grandeur. Cela permet une estimation simultanée en temps réel des poses du modèle et de la cible sans avoir besoin d'une accélération matérielle spécialisée.

Sur la figure 2, le procédé 200 consiste à produire la représentation articulée cible ayant la pose cible en tant que représentation virtuelle de l'utilisateur humain pour l'affichage, laquelle étape se produit en 208. Par exemple, sur la figure 1, la représentation articulée cible 104 est affichée via le dispositif d'affichage électronique 108. Le dispositif d'affichage utilisé pour démontrer la représentation articulée de la cible peut prendre toute forme appropriée et peut utiliser toute technologie d'affichage sous-jacente appropriée

Brevets associés : Brevet Microsoft | Estimations simultanées de poses humaines pour la représentation virtuelle

La demande de brevet Microsoft intitulée « Estimations simultanées de poses humaines pour la représentation virtuelle » a été initialement soumise en avril 2022 et a été récemment publiée par l'Office américain des brevets et des marques.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!