Apple mène-t-il la révolution AR ? Unity Technology Open Day x Rokid, parlez de la nouvelle voie de l'interaction homme-machine de la prochaine génération

Le jalon du développement de la RA est gravé dans une révolution de l'ère de l'informatique spatiale déclenchée par Apple. L'espace immersif créé par Vision Pro offre aux utilisateurs une nouvelle expérience d'interaction homme-machine. Par exemple, il dépasse les limites des écrans traditionnels. Lorsque les utilisateurs parcourent les applications, ils peuvent simplement les regarder et pincer leurs doigts pour les sélectionner. cliquez n'importe où dans les airs.

En fait, c'est aussi la direction qu'explore Rokid : intégrer les personnes, le monde réel et le monde virtuel d'une manière plus naturelle et réelle.

Lors de la journée portes ouvertes de Rokid en mars de cette année, Rokid a lancé une nouvelle génération de système d'exploitation spatial AR auto-développé-YodaOS-Master : basé sur les lunettes Rokid Max Pro, ouvrez votre paume et le menu apparaîtra immédiatement dans devant toi. Cliquez sur l'icône pour accéder à l'application et profiter d'une expérience interactive multi-écran spatiale flexible et flexible. Parmi eux, il s'agit du premier du secteur à réaliser des capacités telles que le SLAM et l'interaction 3D à main nue basées sur une seule caméra. Cette nouvelle voie technique a attiré l'attention et suscité des discussions animées dans l'industrie depuis sa sortie.

Aujourd'hui, l'une des cérémonies annuelles les plus importantes pour les développeurs chinois, la « Journée portes ouvertes de la technologie Unity 2023 », s'est tenue pour la première fois à Pékin, et Rokid a assisté à cet événement. Lors de la réunion, Shi Wenfeng, ingénieur en chef de la R&D du système Rokid, a prononcé un discours intitulé "Introduction au système Rokid YodaOS-Master et développement et mise en œuvre d'applications", partageant cette voie technique très attendue, ainsi que les derniers développements technologiques de Rokid, et sur- développement du site Les chercheurs ont eu des échanges et des discussions approfondis.

La nouvelle génération de système AR spatial auto-développé par Rokid

La première technologie SLAM à caméra unique du secteur

Lors du forum de jeu d'aujourd'hui, Shi Wenfeng, ingénieur en chef de la recherche et du développement du système Rokid, combiné à de nombreuses années d'expérience riche dans la recherche et le développement de technologies de l'industrie AR, a présenté le très attendu système YodaOS-Master aux développeurs sur site. , ainsi que la réflexion technique derrière Rokid .

En se concentrant sur les cinq aspects de la perception, de la compréhension, de l'interaction, de la présentation, de la collaboration et de la création numérique, YodaOS-Master a réalisé d'énormes améliorations dans de nombreux aspects tels que l'optimisation des puces, la conception matérielle, l'architecture logicielle, les algorithmes AR et les outils de création, ou Il s'agit actuellement de l'ensemble le plus complet de systèmes d'exploitation spatiaux pour l'ère de la RA.

Basé sur les lunettes Rokid Max Pro, il est le premier à réaliser le SLAM, l'interaction 3D à main nue, le partage de perspective à la première personne, le positionnement visuel VPS et d'autres capacités basées sur une seule caméra. Il peut prendre en charge un fonctionnement multitâche. , la création d'espace et d'autres expériences AR, donnant un aspect plus léger. Les lunettes AR quantitatives et inclusives offrent des possibilités illimitées.

Au début de la naissance du système d'exploitation YodaOS, Rokid a adhéré à un point de vue, permettant aux développeurs de libérer leur imagination et de créer de la valeur grâce au système d'exploitation YodaOS.

Shi Wenfeng a déclaré : « Le système d'exploitation YodaOS-Master utilise une approche modulaire pour « regrouper » plusieurs technologies de base, notamment la reconnaissance vocale Rokid, la reconnaissance gestuelle, SLAM, etc., formant un SDK permettant aux développeurs de développer efficacement. Par exemple , le SDK pour Unity permet aux développeurs Unity d'utiliser rapidement la technologie de base de Rokid pour le développement. »

Rokid s'est toujours engagé pour une expérience interactive AR plus naturelle. Par rapport à la reconnaissance gestuelle 2D traditionnelle, la reconnaissance gestuelle 3D est plus difficile. L'enseignant Wenfeng s'est concentré sur la technologie de reconnaissance gestuelle 3D monoculaire actuellement utilisée par Rokid, qui est basée sur les capacités système sous-jacentes de YodaOS-Master.

Basé sur des algorithmes d'apprentissage profond et une grande quantité de données expérimentales, l'algorithme gestuel 3D monoculaire auto-développé par Rokid peut reconstruire les paramètres de posture de la main en temps réel sur le terminal mobile, y compris la main 6DoF, les points d'articulation de la main 26DoF et le Hand Mesh. L'interaction gestuelle AR fournit une bonne base d'algorithme.

Actuellement, la reconnaissance gestuelle de Rokid peut réaliser une variété d'opérations dans l'espace 3D, notamment pointer, pincer, saisir, maintenir, glisser, tirer, etc., qui peuvent répondre pleinement aux besoins des applications interactives AR. Dans le cas du Rokid Max Pro, il suffit de mettre le casque et de tendre la main pour afficher le menu devant votre paume.

Il convient de mentionner que l'expérience spatiale AR de Rokid intégrant des logiciels et du matériel a été mise en œuvre dans de nombreuses scènes à travers le pays, y compris le premier projet de bloc Yuanverse du pays basé sur des lunettes AR-Hangzhou Wensan Yuanshi AR Digital Living Block, le premier AR solution de navigation avec lunettes basée sur la vision monoculaire SLAM dans l'industrie du tourisme culturel en Chine - Dunhuang AR Smart Guide et la première salle d'exposition numérique AR d'entreprise du pays créée par DingTalk et Rokid, etc.

Ruoqi Digital People+AIGC

Nouvelle mise à niveau de l'expérience interactive multimodale

Avec le développement accéléré de l'ère de l'IA, la tendance au développement de l'interaction homme-machine est l'interaction multimodale. À l'avenir, pour répondre aux besoins les plus profonds des gens, ils ne devront pas se limiter à une seule interaction au clavier, à une interaction tactile, à une interaction vocale et à d'autres méthodes.

Imaginez, si vous souhaitez écouter de la musique tout en travaillant, vous devez d'abord réveiller le haut-parleur via une interaction vocale ou tactile, puis ouvrir le logiciel de bureau via une interaction au clavier. Si vous disposez d'un assistant artificiel numérique, tout devient plus simple. Il vous suffit d'émettre une seule commande pour effectuer les deux tâches en même temps.

C'est aussi l'une des raisons pour lesquelles Rokid est un humain numérique IA. Shi Wenfeng a déclaré que la technologie humaine numérique de l'IA peut connecter toutes les capacités du système, y compris l'assistant vocal humain numérique de l'IA, le SLAM, les gestes 3D, l'audio spatial 6DOF et d'autres technologies de base de Rokid, offrant ainsi aux utilisateurs une expérience d'interaction homme-machine plus riche.

Actuellement, l'humain numérique « Ruoqi » créé par Rokid est entièrement connecté à l'AIGC. Les utilisateurs peuvent invoquer « Ruoqi » à tout moment et discuter de tout sujet intéressant avec cet assistant virtuel.

Shi Wenfeng a expliqué que ce qui se cache derrière cela est le modèle multimodal basé sur l'intelligence numérique AIGC. Grâce à des technologies d'algorithmes auto-développées telles que l'ASR, la PNL et le TTS, il pousse « Ruoqi » à produire des expressions faciales, vocales et corporelles précises. mouvements et performances Plus réels, naturels et fluides.

Rokid responsabilise les développeurs dans tous les aspects

Accueillons ensemble la prochaine ère de l’interaction homme-machine

À l'avenir, à mesure que les technologies AR, MR et autres deviendront de plus en plus matures, il y aura un espace illimité pour l'innovation dans divers scénarios tels que le visionnage de films, les jeux, le travail de bureau et l'éducation. La reconstruction de multiples contenus écologiques exige de toute urgence que les développeurs apportent davantage de percées et d’innovations.

Unity Technology Open Day est l'un des festivals interactifs annuels les plus importants pour les développeurs chinois. Grâce à plusieurs visites hors ligne chaque année, il construit une plate-forme d'échange technologique pour le groupe de créateurs, transmet le chemin de l'évolution technologique et crée un développeur diversifié et actif. atmosphère communautaire. , tout en écoutant la voix des développeurs, en favorisant l'innovation de contenu et l'extension des applications de la technologie 3D en temps réel.

Rokid, en tant que leader de l'industrie de la RA, participe à la promotion de la prospérité de l'industrie. Au cours de l'événement de la journée, en plus de présenter les derniers discours de partage de technologies, Rokid a également installé un stand sur place, présentant les derniers produits AR de Rokid et des scénarios de construction écologiques aux développeurs sur site, les aidant ainsi à comprendre Rokid de manière plus intuitive. dernières technologies et écologie.

Ces dernières années, Rokid s'est engagé à responsabiliser davantage de développeurs, en créant une plate-forme ouverte dédiée à la RA (ar.rokid.com), en lançant le programme d'assistance aux développeurs « Ruoqi Space Station » et en organisant des concours mondiaux de développement d'applications AR, etc. encourager les développeurs à participer à la co-construction écologique et promouvoir la prospérité de l’écosystème AR.

Wenfeng a présenté que le programme d'assistance aux développeurs « Ruoqi Space Station » de Rokid, conçu pour les développeurs, fournit une assistance complète aux développeurs en termes d'équipement matériel, de capacités d'algorithmes, d'assistance au développement et de promotion marketing. Dans le même temps, Rokid s'est associé à plusieurs entreprises et sociétés de capital-risque leaders du secteur pour établir une alliance d'investissement écologique intelligent d'un milliard de RMB afin d'investir directement dans des développeurs exceptionnels.

Rokid a non seulement fourni un soutien important aux développeurs, mais a également organisé avec succès le premier concours mondial de développement d'applications AR et a décerné 11 prix importants aux développeurs mondiaux. Rokid a officiellement lancé le premier concours de création de contenu College XR en mai de cette année pour stimuler le pouvoir d'innovation des collèges et universités à travers le pays.

À l'avenir, Rokid est prêt à s'associer à davantage de partenaires pour participer à la construction de l'écosystème AR, créer un écosystème ouvert et gagnant-gagnant, continuer à responsabiliser l'industrie, promouvoir le développement accéléré de l'industrie AR et adopter conjointement la prochaine ère de l’interaction homme-machine.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!