Führt Apple die AR-Revolution an? Unity Technology Open Day x Rokid, sprechen Sie über die nächste Generation der neuen Route der Mensch-Computer-Interaktion

Der Meilenstein der AR-Entwicklung liegt in einer von Apple ausgelösten Revolution im Spatial-Computing-Zeitalter. Der von Vision Pro geschaffene immersive Raum bietet Benutzern ein neues Interaktionserlebnis zwischen Mensch und Computer. Wenn Benutzer Apps durchsuchen, können sie diese einfach durch Ziehen und Ziehen auswählen Klicken Sie irgendwo in die Luft.

Tatsächlich ist dies auch die Richtung, die Rokid erforscht hat – Menschen, die reale Welt und die virtuelle Welt auf natürlichere und realere Weise zu integrieren.

Am Rokid Open Day im März dieses Jahres veröffentlichte Rokid eine neue Generation des selbst entwickelten AR-Weltraum-Betriebssystems YodaOS-Master: Basierend auf der Rokid Max Pro-Brille öffnen Sie Ihre Handfläche und das Menü erscheint sofort vor Ihnen. Klicken Sie auf das Symbol, um die Anwendung aufzurufen und ein flexibles und flexibles interaktives Erlebnis auf mehreren Bildschirmen zu genießen. Unter anderem ist es das erste in der Branche, das Funktionen wie SLAM und 3D-Hand-Interaktion auf Basis einer einzigen Kamera realisiert. Dieser neue technische Weg hat seit seiner Veröffentlichung in der Branche für Aufmerksamkeit und hitzige Diskussionen gesorgt.

Heute fand in Peking zum ersten Mal eine der wichtigsten jährlichen Zeremonien für chinesische Entwickler statt, der „Unity Technology Open Day 2023“. Bei dem Treffen hielt Shi Wenfeng, Chefingenieur der Rokid-Systemforschung und -entwicklung, eine Rede mit dem Titel „Einführung und Anwendungsentwicklung und -implementierung des Rokid YodaOS-Master-Systems“, in der er über diesen mit Spannung erwarteten technischen Weg sowie die neueste technologische Entwicklung von Rokid berichtete -Standortentwicklung Die Forscher führten einen intensiven Austausch und Diskussionen.

Rokids selbstentwickeltes Weltraum-AR-System der neuen Generation

Die branchenweit erste Einzelkamera-SLAM-Technologie

Im heutigen Spieleforum stellte Shi Wenfeng, Chefingenieur der Rokid-Systemforschung und -Entwicklung, kombiniert mit langjähriger und reicher Erfahrung in der Forschung und Entwicklung von AR-Technologietechnologien, den Entwicklern vor Ort das mit Spannung erwartete YodaOS-Master-System vor sowie das technische Denken hinter Rokid.

YodaOS-Master dreht sich um die fünf Aspekte Wahrnehmung, Verständnis, Interaktion, Präsentation, Zusammenarbeit und digitale Erstellung und hat in vielen Aspekten wie Chipoptimierung, Hardwaredesign, Softwarearchitektur, AR-Algorithmen und Erstellungstools enorme Verbesserungen vorgenommen das fortschrittlichste Ein vollständiger Satz von Weltraum-Betriebssystemen für die AR-Ära.

Basierend auf der Rokid Max Pro-Brille ist sie die erste, die SLAM, 3D-Interaktion mit bloßen Händen, Teilen der Ego-Perspektive, visuelle Positionierung von VPS und andere Funktionen basierend auf einer einzigen Kamera realisiert Andere AR-Erlebnisse bieten eine leichtere und universellere AR-Brille von Hui und bieten endlose Möglichkeiten.

Zu Beginn der Geburt des YodaOS-Betriebssystems hat Rokid einen Standpunkt vertreten, der es Entwicklern ermöglicht, ihrer Fantasie freien Lauf zu lassen und durch das YodaOS-Betriebssystem Werte zu schaffen.

Shi Wenfeng sagte: „Das YodaOS-Master-Betriebssystem verwendet einen modularen Ansatz, um mehrere Kerntechnologien, einschließlich Rokid-Spracherkennung, Gestenerkennung, SLAM usw., zu ‚paketieren‘, um ein SDK zu bilden, das Entwickler effizient entwickeln können, wie z. B. SDK für.“ Unity ermöglicht es Unity-Entwicklern, die Rokid-Kerntechnologie schnell für die Entwicklung zu nutzen.“

Rokid hat sich schon immer für ein natürlicheres interaktives AR-Erlebnis eingesetzt. Im Vergleich zur herkömmlichen 2D-Gestenerkennung ist die 3D-Gestenerkennung anspruchsvoller. Lehrer Wenfeng konzentrierte sich auf die derzeit von Rokid verwendete monokulare 3D-Gestenerkennungstechnologie, die auf den zugrunde liegenden Systemfunktionen von YodaOS-Master basiert.

Basierend auf Deep-Learning-Algorithmen und einer großen Menge experimenteller Daten kann der von Rokid selbst entwickelte monokulare 3D-Gestenalgorithmus Handhaltungsparameter in Echtzeit auf dem mobilen Endgerät rekonstruieren, einschließlich Hand 6DoF, Handgelenkpunkte 26DoF und Hand Mesh-Informationen Eine AR-Gesten-Interaktion bietet eine gute algorithmische Grundlage.

Derzeit kann die Gestenerkennung von Rokid eine Vielzahl von Vorgängen im 3D-Raum realisieren, darunter Zeigen, Kneifen, Greifen, Halten, Ziehen, Ziehen usw., was die Anforderungen interaktiver AR-Anwendungen vollständig erfüllen kann. Beim Rokid Max Pro setzen Sie einfach das Headset auf und strecken Ihre Hand aus, um das Menü vor Ihrer Handfläche anzuzeigen.

Es ist erwähnenswert, dass Rokids AR-Weltraumerfahrung, die Software und Hardware integriert, in vielen Szenen im ganzen Land implementiert wurde, einschließlich des ersten Yuanverse-Blockprojekts des Landes basierend auf AR-Brillen – Hangzhou Wen Sanyuan Universe AR Digital Life Block, National Cultural Block The Travel die branchenweit erste AR-Brillen-Navigationslösung basierend auf monokularem Sehen SLAM – Dunhuang AR Smart Guide, und die erste digitale AR-Ausstellungshalle des Landes, die von DingTalk und Rokid usw. erstellt wurde.

Ruoqi Digital Human+AIGC

Neues Upgrade des multimodalen interaktiven Erlebnisses

Mit der beschleunigten Entwicklung der KI-Ära ist der Entwicklungstrend der Mensch-Computer-Interaktion eine multimodale Interaktion. Um die tieferen Bedürfnisse der Menschen in Zukunft zu befriedigen, müssen sie mehr sein als nur Tastaturinteraktion, Berührungsinteraktion, Sprachinteraktion und andere Methoden.

Stellen Sie sich vor: Wenn Sie während der Arbeit Musik hören möchten, müssen Sie zuerst den Lautsprecher durch Sprach- oder Berührungsinteraktion aktivieren und dann die Office-Software durch Tastaturinteraktion öffnen. Wenn Sie einen digitalen künstlichen Assistenten haben, wird alles einfacher. Sie müssen nur einen einzigen Befehl erteilen, um beide Aufgaben gleichzeitig zu erledigen.

Dies ist auch einer der Gründe, warum Rokid ein digitaler KI-Mensch ist. Shi Wenfeng sagte, dass die KI-Digital-Human-Technologie alle Funktionen des Systems verbinden kann, einschließlich des Sprachassistenten KI-Digital-Human, SLAM, 3D-Gesten, 6DOF-Raumaudio und andere Rokid-Kerntechnologien, wodurch den Benutzern ein umfassenderes Mensch-Computer-Interaktionserlebnis geboten wird.

Derzeit ist der von Rokid erstellte digitale Mensch „Ruoqi“ vollständig mit AIGC verbunden. Benutzer können „Ruoqi“ jederzeit herbeirufen und alle interessanten Themen mit diesem virtuellen Assistenten besprechen.

Shi Wenfeng stellte vor, dass dahinter das multimodale digitale Intelligenzmodell AIGC steckt, das „Ruoqi“ durch selbstentwickelte Algorithmustechnologien wie ASR, NLP und TTS dazu bringt, präzise Gesichtsausdrücke, Stimmausdrücke und Körper zu erzeugen Bewegungen und Leistung Realer, natürlicher und sanfter.

Rokid unterstützt Entwickler in allen Aspekten

Lasst uns gemeinsam die nächste Ära der Mensch-Computer-Interaktion begrüßen

Da AR, MR und andere Technologien in Zukunft immer ausgereifter werden, wird es unbegrenzten Raum für Innovationen in verschiedenen Szenarien wie Filmschauen, Spielen, Büroarbeit und Bildung geben. Die Rekonstruktion vielfältiger ökologischer Inhalte erfordert dringend mehr Durchbrüche und Innovationen der Entwickler.

Der Unity Technology Open Day ist eines der wichtigsten jährlichen interaktiven Festivals für chinesische Entwickler. Durch mehrere Offline-Touren jedes Jahr wird eine Technologieaustauschplattform für die Entwicklergruppe aufgebaut, der Weg der Technologieentwicklung vermittelt und ein vielfältiger und aktiver Entwickler geschaffen Community-Atmosphäre, während wir den Stimmen der Entwickler zuhören und so die Innovation von Inhalten und die Anwendungserweiterung der Echtzeit-3D-Technologie fördern.

Rokid beteiligt sich als führendes Unternehmen der AR-Branche an der Förderung des Wohlstands der Branche. Während der Tagesveranstaltung hielt Rokid nicht nur die neuesten Vorträge zum Technologieaustausch, sondern richtete auch einen Standbereich vor Ort ein, der den Entwicklern vor Ort die neuesten AR-Produkte und ökologischen Bauszenarien vorstellt und ihnen hilft, Rokid intuitiver zu verstehen neueste Technologie und Ökologie.

In den letzten Jahren hat sich Rokid dafür eingesetzt, mehr Entwickler zu unterstützen, eine dedizierte offene AR-Plattform (ar.rokid.com) zu schaffen, das Entwicklerunterstützungsprogramm „Ruoqi Space Station“ zu starten und weltweite Wettbewerbe für die Entwicklung von AR-Anwendungen usw. auszurichten. Ermutigen Sie Entwickler, sich am ökologischen Mitbau zu beteiligen und fördern Sie den Wohlstand des AR-Ökosystems.

Wenfeng gab bekannt, dass das auf Entwickler zugeschnittene Entwicklerunterstützungsprogramm „Ruoqi Space Station“ von Rokid Entwicklern umfassende Unterstützung in Bezug auf Hardwareausrüstung, Algorithmusfunktionen, Entwicklungsunterstützung und Marketingförderung bietet. Gleichzeitig hat sich Rokid mit mehreren branchenführenden Unternehmen und VCs zusammengetan, um eine ökologische, intelligente Investitionsallianz im Wert von 1 Milliarde RMB zu gründen, um direkt in herausragende Entwickler zu investieren.

Rokid leistete nicht nur starke Unterstützung für Entwickler, sondern veranstaltete auch erfolgreich den ersten globalen AR-Anwendungsentwicklungswettbewerb und verlieh 11 bedeutende Preise an globale Entwickler. Rokid hat im Mai dieses Jahres offiziell den ersten College XR Content Creation-Wettbewerb gestartet, um die Innovationskraft von Hochschulen und Universitäten im ganzen Land zu fördern.

Rokid ist bereit, in Zukunft mit weiteren Partnern zusammenzuarbeiten, um sich am Aufbau des AR-Ökosystems zu beteiligen, ein offenes und Win-Win-Ökosystem zu schaffen, die Branche weiterhin zu stärken, die beschleunigte Entwicklung der AR-Branche zu fördern und sich gemeinsam zu engagieren die nächste Ära der Mensch-Computer-Interaktion.

Das obige ist der detaillierte Inhalt vonFührt Apple die AR-Revolution an? Unity Technology Open Day x Rokid, sprechen Sie über die nächste Generation der neuen Route der Mensch-Computer-Interaktion. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!