Le toucher n'a jamais été aussi réel ! Deux docteurs chinois de l'Université de Californie du Sud innovent avec l'algorithme de « perception tactile »

Le développement de la technologie électronique nous permet de profiter d'un « festin audiovisuel » à tout moment et en tout lieu, et l'audition et la vision humaines ont été complètement libérées.

Ces dernières années, l'ajout du « tactile tactile » aux appareils est progressivement devenu un nouveau point chaud de la recherche, notamment avec le soutien du concept de « Métaverse », l'ajout du toucher améliorera sans aucun doute grandement le réalisme du monde virtuel. .

La technologie actuelle de perception tactile simule et restitue principalement le toucher via un modèle « piloté par les données ». Le modèle enregistre d'abord le signal de l'utilisateur interagissant avec la texture réelle, puis entre le signal dans la partie génération de texture, et utilise la vibration. Cette méthode « restitue » la sensation tactile à l'utilisateur.

Certaines méthodes récentes sont principalement basées sur des signaux de mouvement interactifs de l'utilisateur et de vibrations à haute fréquence pour modéliser les caractéristiques de texture, telles que la friction et les caractéristiques de surface microscopiques.

Bien que la gestion des données améliore considérablement le réalisme de la simulation, il existe encore de nombreuses limites.

Par exemple, il existe « d'innombrables types » de textures dans le monde Si chaque texture était enregistrée, la main-d'œuvre et les ressources matérielles nécessaires seraient inimaginables, et elle ne serait pas en mesure de répondre aux besoins d'une niche. utilisateurs.

Les êtres humains sont très sensibles à la perception tactile, et différentes personnes ont des sentiments différents pour le même objet. L'approche basée sur les données ne peut pas éliminer fondamentalement le problème de l'inadéquation des perceptions entre l'enregistrement et le rendu des textures.

Récemment, trois doctorants de la Viterbi School of Engineering de l'Université de Californie du Sud ont proposé un nouveau cadre de modèle « axé sur les préférences » qui utilise la capacité des humains à résoudre les détails de la texture pour ajuster la perception virtuelle générée, et peut finalement Pour obtenir une perception tactile assez réaliste, l'article a été publié dans IEEE Transactions on Haptics. Le modèle donnera d'abord à l'utilisateur une texture tactile réelle et le modèle utilise des dizaines de variables pour générer de manière aléatoire trois textures virtuelles, parmi lesquelles l'utilisateur peut ensuite choisir celle qui ressemble le plus à l'objet réel.

Avec des essais, des erreurs et des commentaires continus, le modèle optimisera en permanence la distribution des variables via la recherche, rendant la texture générée plus proche des préférences de l'utilisateur. Cette méthode présente des avantages significatifs par rapport à l’enregistrement et à la lecture directs des textures, car il existe toujours un écart entre ce que lit l’ordinateur et ce que ressentent réellement les humains.

Ce processus est en fait similaire à "Partie A et Partie B". En tant que percepteur (Partie A), si nous sentons que le toucher ne semble pas correct, nous le rappellerons et laisserons l'algorithme (Partie B). ) modifiez-le et régénérez-le jusqu'à ce qu'il soit généré jusqu'à ce que l'effet soit satisfaisant.

C'est en fait très raisonnable, car différentes personnes auront des sensations différentes en touchant le même objet, mais le signal émis par l'ordinateur est le même, il est donc nécessaire de personnaliser le toucher en fonction de chaque personne !

L'ensemble du système se compose de deux modules. Le premier est un réseau contradictoire génératif à convolution profonde (DCGAN), qui est utilisé pour mapper les vecteurs de l'espace latent au modèle de texture et est formé sur l'UPenn Haptic Texture Toolkit ( HaTT).

Le deuxième module est un algorithme évolutif basé sur la comparaison : à partir d'un ensemble de modèles de texture générés, la stratégie d'évolution d'adaptation de matrice de covariance (CMA-ES) crée un nouveau modèle de texture à évoluer en fonction des commentaires des préférences de l'utilisateur.

Pour simuler des textures réelles, les chercheurs demandent d'abord aux utilisateurs de toucher des textures réelles à l'aide d'un outil personnalisé, puis de toucher un ensemble de textures virtuelles candidates à l'aide d'un appareil haptique, où le retour haptique est transmis via un Haptuator connecté à l'appareil. stylet.

La seule chose que l'utilisateur doit faire est de sélectionner la texture virtuelle la plus proche de la texture réelle et d'utiliser une simple interface de curseur pour ajuster la quantité de friction, car la friction est cruciale pour la sensation de texture, et Peut également varier d'une personne à l'autre.

Ensuite, toutes les textures virtuelles seront mises à jour selon la stratégie d'évolution en fonction de la sélection de l'utilisateur, puis l'utilisateur sélectionnera et ajustera à nouveau.

Répétez le processus ci-dessus jusqu'à ce que l'utilisateur trouve une texture virtuelle qu'il pense proche de la texture réelle et l'enregistre, ou qu'une texture virtuelle plus proche ne puisse pas être trouvée.

Les chercheurs ont divisé le processus d'évaluation en deux phases, chacune avec un groupe distinct de participants.

Dans la première étape, cinq participants ont généré et recherché des textures virtuelles pour 5 textures réelles respectivement.

La deuxième étape consiste à évaluer l'écart entre la texture finale enregistrée selon les préférences (VTp) et sa texture réelle correspondante (RT).

La méthode d'évaluation utilise principalement la notation des adjectifs pour évaluer les dimensions perceptuelles, notamment la rugosité, la dureté et la douceur.

Et comparez les similitudes entre VTp, RT et les textures basées sur les données (VTd).

Les résultats expérimentaux montrent également qu'en suivant le processus évolutif, les utilisateurs peuvent effectivement trouver un modèle de texture virtuelle plus réaliste que le modèle basé sur les données.

De plus, plus de 80 % des participants pensaient que les notes de texture virtuelle générées par le modèle basé sur les préférences étaient meilleures que le modèle basé sur les données.

Les appareils haptiques sont de plus en plus populaires dans les jeux vidéo, le design de mode et les simulations chirurgicales, et même à la maison, nous commençons à voir des utilisateurs utiliser ces appareils haptiques aussi populaires que les ordinateurs portables.

Par exemple, ajouter du toucher aux jeux vidéo à la première personne améliorera grandement le sens de la réalité du joueur.

L'auteur de l'article a déclaré que lorsque nous interagissons avec l'environnement via des outils, le retour tactile n'est qu'une forme, un retour sensoriel, et l'audio est un autre retour sensoriel, les deux étant très importants.

Outre les jeux, les résultats de ce travail seront particulièrement utiles pour les textures virtuelles utilisées dans la formation dentaire ou chirurgicale, qui doivent être très précises.

"La formation chirurgicale est un domaine absolument immense qui nécessite des textures et un retour tactile très réalistes ; la conception de décoration nécessite également une simulation très précise des textures pendant le développement puis la fabrication

."

Tout, des jeux vidéo au design de mode, intègre la technologie haptique, et les bases de données de textures virtuelles existantes peuvent être améliorées grâce à cette approche des préférences de l'utilisateur.

Le modèle de recherche de texture permet également aux utilisateurs d'extraire des textures virtuelles à partir de bases de données, telles que Tactile Texture Toolkit de l'Université de Pennsylvanie, qui peuvent être affinées jusqu'à ce qu'ils obtiennent les résultats souhaités.

Une fois cette technologie combinée avec le modèle de recherche de texture, vous pouvez utiliser des textures virtuelles qui ont déjà été enregistrées par d'autres, puis optimiser les textures en fonction de stratégies.

L'auteur imagine qu'à l'avenir, les modèles n'auront peut-être même plus besoin de vraies textures.

La sensation de certaines choses communes dans nos vies est très intuitive, et nous sommes programmés pour affiner nos sens en regardant des photos sans référence aux textures réelles.

Par exemple, lorsque nous voyons une table, nous pouvons imaginer ce que nous ressentirons une fois que nous la toucherons. Grâce à cette connaissance préalable de la surface, nous pouvons fournir un retour visuel à l'utilisateur et lui permettre de choisir le contenu correspondant. .

Le premier auteur de l'article, Shihan Lu, est actuellement doctorant à la School of Computer Science de l'Université de Californie du Sud. Il a déjà effectué des travaux liés au son dans les technologies immersives, c'est-à-dire en. introduire des sons correspondants lorsque les outils interagissent avec eux, rendant les textures virtuelles plus immersives.

Le deuxième auteur de l'article, Mianlun Zheng, est doctorant à l'École d'informatique de l'Université de Californie du Sud. Il est diplômé de l'Université de Wuhan avec un baccalauréat et une maîtrise.

​ ​

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!