5 Jahre geheime Forschung und Entwicklung! Googles 3D-„Magic Mirror“-Test, kein „Facehugger“ nötig, wenn man mit echten Menschen chattet

Kann ich mich beim Betreten des Metaversums nur auf ein am Kopf montiertes Display verlassen?

Nein. Lassen Sie unserer Fantasie noch ein wenig freien Lauf.

Der Riese Google hat sich eine andere Lösung einfallen lassen: Statt eines Head-Mounted-Displays eine 3D-„Telefonzelle“ zu verwenden!

Wenn Sie Skype oder Zoom gewohnt sind, werden Sie überrascht sein, wenn Sie Starline zum ersten Mal sehen.

Google hat das Project Starline-Projekt letztes Jahr offiziell angekündigt. Es handelt sich um eine Videotelefonzelle, die 3D-Bilder, hochauflösende Kameras, einen maßgeschneiderten Tiefensensor und eine bahnbrechende Lichtfeldanzeige nutzt.

Dadurch entsteht ein äußerst realistisches Erlebnis für Anrufer auf beiden Seiten des Bildschirms.

Nach einem Jahr wird Googles holografisches Video-Chat-Projekt Project Starline später in diesem Jahr Prototypen in Partnerbüros installieren, um erste Tests abzuschließen.

Naked-Eye 3D

Starline ist eine der beiden Schachfiguren, die Google im Metaversum aufgestellt hat (die andere ist die AR-Brille Iris).

Google arbeitet seit mehr als fünf Jahren an diesem Projekt.

Auf der I/O-Konferenz 2021 kündigte Google offiziell Project Starline an, einen Video-Chatroom mit superhoher Auflösung.

In der Vergangenheit konnten herkömmliche Video-Chat-Software wie Skype oder Zoom die sensorische Distanz nicht überwinden. Die Person, mit der Sie chatten, erscheint Ihnen gegenüber in einer 2D-Ebene. Und seine Stimme kam offensichtlich von einem Mobiltelefon, Tablet oder Computer.

Diese Art der „Trennung von Musik und Video“ ist nicht real.

Ist es möglich, dieses „Distanzgefühl“ vollständig zu beseitigen?

Google stellte die Frage: „Kann Zoom in eine riesige Spielhalle verwandelt werden?“ Das ist ihnen gelungen.

Nach fünf Jahren entwickelte Google eine schwarze Technologie – die Starline 3D-Videoanruftechnologie.

Diese Technologie hat zwei große Highlights: Zum einen ist sie real und zum anderen ist es nicht nötig, irgendwelche Ausrüstung zu tragen.

Ein 65-Zoll-Lichtfelddisplay sowie ein Dutzend vorab angeordneter Sensoren und Kameras bilden einen solchen Chatroom.

Sieht aus, als wäre der Effekt ziemlich real.

Wird das Erscheinungsbild einer solchen realen Person von Kameras und Sensoren erfasst und direkt auf dem Display des Gegenübers angezeigt?

Nicht wirklich. Die Aufgabe jeder Kamera und jedes Sensors besteht darin, Porträts aus verschiedenen Blickwinkeln aufzunehmen, mithilfe von Deep Learning eine Echtzeitkomprimierung durchzuführen, diese Daten an die Gegenseite zu übertragen und auf dem Bildschirm einen 3D-Avatar zu rekonstruieren. #🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜 ## 🎜🎜#Das ist Sagen wir, was Sie in dieser Telefonzelle sehen, ist eine „Rekonstruktion“ eines Porträts.

Diese Art der Echtzeit-Rekonstruktion von Charakterbildern macht die Gefühle des anderen beispiellos real. Es ist, als ob die Person, mit der Sie chatten, Ihnen tatsächlich gegenübersitzt.

Übermittlung dieser gesammelten Daten und gewöhnliche Videokonferenzen Beide basieren auf WebRTC und der einzigartige Komprimierungsalgorithmus von Google ermöglichen die Übertragung von 3D-Bildern in Echtzeit in beide Richtungen.

Durch die Übertragung eines 3D-Avatars über eine Video-Chat-Verbindung kann Google das Augenkontaktproblem lösen. Bei normalen Videochats war das schon immer ein Problem. Früher war es bei Webcams auf dem Monitor unmöglich, beim Betrachten des Monitors Augenkontakt herzustellen. 3D-Avatare können jedoch die Trennung zwischen der Mitte der Kamera und der Mitte des Monitors überbrücken und so den Blickkontakt zwischen den beiden Parteien ermöglichen. Google verarbeitet diese Daten in einer leistungsstarken Dual-Xeon-Workstation. Die Workstation verfügt über vier Nvidia-GPUs (zwei Quadro RTX 6000 und zwei Titan RTX). Ein weiteres großartiges Merkmal von Starline ist, dass keine Ausrüstung getragen werden muss.

Ja, Sie haben richtig gehört, VR-Headsets und Datenbrillen sind nicht erforderlich!

Sogar in der zuvor von Google veröffentlichten Konzeptkarte wurden die Kameras und Sensoren in einer Tabelle platziert.

Nach ein wenig Dekoration haben Sie sogar die Illusion, dass Ihr Schreibtisch vor Ihnen steht und die Person mit Ihnen plaudert Sitzt gegenüber dem Schreibtisch.

Laut dem von Google bereitgestellten technischen Diagramm umfasst dieser Ausrüstungssatz : Eine Anzeigeeinheit mit Monitor, Kamera, Lautsprechern, Mikrofon, Beleuchtung und Computer sowie eine Hintergrundbeleuchtungseinheit mit Infrarot-Hintergrundbeleuchtung, die als Sitzbank dient. Beide Einheiten enthalten weiße LED-Streifen, die zu Wänden und Decke geneigt sind, um eine sanfte, reflektierte Beleuchtung zu erzeugen.

Das Display ist ein 65-Zoll-, 8K-, 60-Hz-autostereoskopisches Linsenpanel, das mit bloßem Auge ein lebensgroßes 3D-Bild erzeugt Avatar ansehen.

Das Capture-Subsystem besteht aus drei synchronisierten dreidimensionalen RGBD-Capture-Pods: zwei über dem Display und einer unter dem Display. Im „ Mittelwand“.

Der Pod weiter unten enthält eine zusätzliche Farbkamera zum Heranzoomen des Gesichts des Motivs. Darüber hinaus befinden sich zwei der vier monochromen Tracking-Kameras über dem Display und die verbleibenden zwei, eine auf jeder Seite, werden verwendet, um Hochgeschwindigkeits-Weitwinkelbilder von Augen, Ohren und Mund aufzunehmen.

Die Rendering-Methode ist im Bild unten dargestellt.

Und der Pod ist das oben erwähnte RGBD-Erfassungsgerät.

Die Effekte der auf diese Weise gerenderten Charaktere sind realistischer und lebensechter.

Starline ist außerdem mit einem fortschrittlichen Soundsystem ausgestattet.

Dieses System verwendet vom Sprecher verfolgtes Beamforming, Nachhallreduzierung, WebRTC-Übertragung, vom Sprecher/Hörer verfolgte virtuelle Audiosynthese, binaurale Frequenzteilungskombination zur Eliminierung von Übersprechen, Amplitudenübersetzung sowie räumliches Audio und dynamisches Beamforming und anderes Technologien.

Mit dem Segen dieser Technologien ist es, als ob die beiden Gesprächspartner von Angesicht zu Angesicht sprechen würden.

Letztes Jahr sagten Google-Ingenieure, dass dieses Gerät in einer Standard-Büronetzwerkumgebung ausgeführt werden kann. Es scheint, dass die Starline-Technologie voraussichtlich weithin gefördert wird.

Weitere Details zum Preis gab Google damals nicht bekannt.

Es ist schwer, sich den Markt für diese 7 Fuß mal 7 Fuß große, sechsstellige Telefonzelle in der Größe eines Badezimmers vorzustellen, aber Google treibt weitere Tests voran.

Sei kein „Face Hugger“

Wie ist der Fortschritt dieses Projekts bisher?

Auf der Google Cloud Next 2022 stellte Google-CEO Sundar Pichai einige Fortschritte vor, die beim holografischen Video-Chat-Projekt (Project Starline) erzielt wurden.

Google gab bekannt, dass es regelmäßige Tests in ausgewählten Partnerbüros durchführen wird, darunter Salesforce, WeWork, T-Mobile und Hackensack Meridian Health.

WeWork und Salesforce haben erklärt, dass sie daran interessiert sind, die Technologie auszuprobieren, und argumentieren, dass sie die Verbindungen zwischen Menschen bedeutungsvoller machen kann.

Bis heute wurde Project Starline Tausende von Stunden bei Google getestet und täglich in seinen US-Büros eingesetzt. „Heute sind Prototypen von Project Starline in Google-Büros in den Vereinigten Staaten zu finden, und Mitarbeiter nutzen die Technologie jeden Tag für Besprechungen“, sagte Google in einer Erklärung, während dieses Projekt in die Praxis umgesetzt wird , wird es möglich sein zu verstehen, wie diese Technologie in der realen Welt eingesetzt wird und welche Herausforderungen damit verbunden sein können.

Viele Leute finden es sehr cool, aber einige fragen sich, ob das Starline-Projekt irgendwann Teil des täglichen Lebens der arbeitenden Bevölkerung werden kann.

Angesichts des riesigen Marktes für Konferenzausrüstung für Unternehmen hat Starline durchaus Platz. Einige Einschränkungen erschweren jedoch die Verwendung von Starline für ernsthafte Besprechungen. Konferenzgeräte für Unternehmen eignen sich häufig für große Gruppen von Personen, die an einem Tisch sitzen, und die umfassende Kompatibilität ermöglicht es jedem, ein Meeting mit nahezu jeder Hardware zu starten.

Allerdings unterstützt Starline nur den Einzel-Chat mit einer Person. Ich fürchte, er kann nur für Präsidentenanrufe verwendet werden?

Kürzlich hat Google einen Reporter eingeladen, einen Erfahrungstest auf Starline durchzuführen. Der Reporter beschrieb es wie folgt:

„Der gesamte Prozess fühlte sich viel natürlicher an als ein Zoom-Anruf. Es gab keine merkliche Verzögerung in den Bewegungen der anderen Partei oder unserem Gespräch, es fühlte sich also an, als würde man reden. Das gab es nicht.“ jede seltsame Audio- oder visuelle Verzögerung Was Starline so überzeugend macht, ist die Tatsache, dass man nicht nur auf den Bildschirm schaut, sondern auf eine Reihe von Linsen oder Linsenanordnungen vor dem Bildschirm. Das Prinzip ähnelt holografischen Karten, die beim Hin- und Herschütteln unterschiedliche Bilder oder 3D-Effekte anzeigen können. Starline verfolgt Ihre Augen, um herauszufinden, wohin die Bilder, die es Ihnen zeigt, gerichtet werden sollen.

Abschließend kam der Reporter zu dem Schluss: „Es ist nützlich für Einzelgespräche, insbesondere in Arztpraxen oder an Orten, an denen man Kunden bedienen muss.“ Sein langfristiger Status ist unbekannt.

Vor einem Jahr wurde dieses Projekt neu organisiert und Google organisierte seine AR/VR-Technologie und sein internes Forschungs- und Entwicklungsteam Area 120 in das „Labs“-Team um.

Und letzten Monat hat Google auch die Zahl der Area 120-Mitarbeiter halbiert.

Dies deutet darauf hin, dass Google diese Art von Experiment im aktuellen Wirtschaftsklima möglicherweise nicht als Priorität ansieht. Selbst einige interne Google-Mitarbeiter sind sich nicht sicher, ob Project Starline noch existiert.

Dennoch ist Starline eine spannende Wette auf eine andere Art von virtueller Realität.

Menschen brauchen keinen Avatar, sie können sich in der virtuellen Welt nur über ihr reales Selbst verbinden.

Vor einigen Tagen hat Meta auch sein teuerstes High-End-Headset auf den Markt gebracht, das Quest Pro.

Und Google hat keine Technologie entwickelt, um mithilfe von Kameras Augen- und Gesichtsbewegungen zu verfolgen, wie es Meta derzeit tut.

Wir haben nicht untersucht, wie man in der virtuellen Realität „Beine zu seinem Körper hinzufügt“, sondern haben uns auf die Darstellung einer realen Person konzentriert.

Das Wichtigste ist, dass Sie es nicht wie einen „Facehugger“ auf Ihrem Gesicht tragen müssen, was die Belastung erhöht.

Da gleichzeitig immer mehr Unternehmen versuchen, eine hybride Zukunft der Arbeitsmodelle zu finden, ist Starline genau das Richtige um die aktuelle Situation im 2D-Video-Chat auszugleichen.

2024 bringt das erste AR-Kopfdisplay auf den Markt

Tatsächlich ist das Layout auf dem AR-Kopfanzeige, Google ist nicht weit dahinter.

Zu Beginn dieses Jahres gaben zwei mit der Angelegenheit vertraute Personen bekannt, dass Google damit begonnen hat, die Entwicklung von AR-Headsets voranzutreiben , intern mit dem Codenamen Project Iris, und hofft, im Jahr 2024 verfügbar zu sein. Und Google hofft, Starline mit Iris bis 2024 veröffentlichen zu können.

Das neueste Iris-Headset verwendet den neuesten Prozessor von Google, einen vollständig selbst entwickelten Tensor-Chip, und unterstützt auch die Ausführung auf Android-Systemen.

Was ein neues Betriebssystem betrifft, so ist es auch in den zukünftigen Forschungs- und Entwicklungsplänen von Google enthalten.

Dieses AR-Gerät verwendet eine nach außen gerichtete Kamera, um Computergrafiken mit der realen Welt zu verschmelzen und so eine neue Ebene von AR zu schaffen Besser als bestehende AR wie Snap und Magic Leap Glasses für ein noch intensiveres Mixed-Reality-Erlebnis.

Aufgrund von Strombeschränkungen wird Google seine Rechenzentren nutzen, um einige Grafiken aus der Ferne zu rendern und sie über eine Internetverbindung an AR zu liefern Gläser.

Das Projekt Iris kann als Wendepunkt in der Entwicklung der Google AR-Brille bezeichnet werden.

Bereits 2012 veröffentlichte Google einen Prototyp einer AR-Brille. Ähnlich wie eine Skibrille, erfordert jedoch keinen Anschluss an eine externe Stromquelle.

Mit einer Welle von Hardware- und Software-Upgrades landete es 2014 erfolgreich auf dem US-Markt, zum Preis von 1.500 US-Dollar. Im Jahr 2015 musste es jedoch aufgrund verschiedener negativer Nachrichten aus den Regalen genommen werden.

Dann veröffentlichte Google 2015 auf seiner I/O-Konferenz eine „VR-Brillenbox“. Das Gerät ist sehr einfach aufgebaut und besteht im Wesentlichen aus einem Stück Pappe und zwei speziellen Kunststofflinsen.

Bis 2017 beschloss Google, den Einsatz von AR-Brillen auf die Industrie zu verlagern. Trotz seiner Aufholjagd scheint Google bei der Entwicklung neuer Formen von AR-Hardware hinter seinen Mitbewerbern zurückzubleiben.

Seitdem schweigt Google merklich zur Hardware-Entwicklung von AR-Brillen und hat sich entschieden, sich auf die Entwicklung von Google zu konzentrieren Objektive, visuelle Suchmaschinen und Softwarefunktionen im Zusammenhang mit AR-Wegbeschreibungen in Google Maps.

Mit der Explosion des Metaverse-Konzepts im Jahr 2021 haben viele große Hersteller Layouts auf diesem Weg eingeführt.

Tatsächlich spielt Google auch stillschweigend sein eigenes Spiel. Ob es sich um das AR-Headset Iris oder das holografische Videoanrufprojekt Starline handelt.

Xiao Zha sagte einmal in einem Interview: „Die Magie von VR besteht darin, dass man sofort glauben kann, man sei in einem anderen.“ „Seine Idee war ein Hologramm, und Starline hatte zufällig die gleiche Idee.“

Jetzt arbeiten zwei der weltweit größten Technologieunternehmen hart daran, ihre Avatare zu verbessern, wenn auch auf unterschiedliche Weise: Meta geht aufs Ganze -in Das Konzept des Metaverse wurde vorgeschlagen und Google arbeitete daran, das Unternehmen zu übernehmen. Chatrooms und teure Mixed-Reality-Displays sind für die meisten Menschen weder praktisch noch ideal, aber was sich wirklich durchsetzt, passiert wahrscheinlich irgendwo dazwischen.

​参考资料：

https://techcrunch.com/2022/10/13/googles-3d-video-calling-booths-project-starline-will-now-be-tested-in-the-real-world /

https://www.theverge.com/2022/10/13/23400870/google-project-starline-3d-chat-booth-impressions

Das obige ist der detaillierte Inhalt von5 Jahre geheime Forschung und Entwicklung! Googles 3D-„Magic Mirror“-Test, kein „Facehugger“ nötig, wenn man mit echten Menschen chattet. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!