Les lunettes intelligentes Meta utilisent le Llama 3 multimodal ! Des opportunités pour les lunettes AR domestiques arrivent

La technologie noire AR dans les superproductions de science-fiction est bel et bien devenue réalité !

Tout à l'heure, les lunettes intelligentes Ray-Ban de Meta ont commencé à prendre en charge la version multimodale de Llama 3 ! Vous savez, la version open source de Llama 3 ne prend pas encore en charge la multimodalité.

Récemment, Xiao Zha a également admis lors de la discussion que le modèle open source vaut 10 milliards de dollars américains. Cependant, s’il s’agit du côté produit, c’est une autre histoire.

Hé, le produit n'est-il pas là ?

Mettez cette paire de lunettes intelligentes lorsque vous vous ennuyez en voyageant et en voiture, vous pouvez demander à Meta de jouer de la musique.

En portant des lunettes AR, vous pouvez également traduire directement des langues inconnues. Ou lorsque vous n'avez pas de temps sur la route, Meta peut envoyer des messages vocaux à vos amis.

Rendez-vous dans un immeuble et appelez Meta pour vous donner plus d'informations à ce sujet.

Même les appels vidéo, les diffusions en direct, la vulgarisation scientifique, etc., tant que vous y pensez, les lunettes AR peuvent le faire.

Meta a annoncé avoir commencé à tester l'IA multimodale sur les lunettes intelligentes Ray-Ban Meta en décembre de l'année dernière. Actuellement, cette nouvelle fonctionnalité a été lancée sur les lunettes vendues aux États-Unis et au Canada.

Zha est également là pour montrer ses compétences

Cette paire de lunettes est équipée d'un appareil photo de 12 mégapixels et de cinq microphones. L'intégration de l'assistant Meta AI signifie que vous pouvez faire plus de choses avec.

Tout ce que vous voyez, cela peut le décrire.

Dites simplement : « Hé Meta, regarde ça, dis-moi ce que c'est ? » et cela peut être contrôlé par commande vocale.

En regardant la pile d'ingrédients sur le comptoir de la cuisine, Meta peut rapidement créer des recettes pertinentes.

Ce qui est plus intéressant, c'est que Xiao Zha lui-même a également publié une vidéo sur Instagram portant des lunettes intelligentes et choisissant des vêtements pour lui-même.

Il a choisi une chemise sombre et a demandé à Meta avec quel genre de pantalon je devrais la porter. Meta donne des suggestions de jeans et de shorts.

Il a également demandé aux lunettes intelligentes d'ajouter une description intéressante à une photo d'un animal mignon.

Xiao Zha tient une sorte de fruit dans sa main, et les lunettes intelligentes peuvent lui dire que c'est un fruit à pain.

Et pour les lunettes AR, la traduction en temps réel deviendra une application qui tue.

Lorsque vous voyagez et que vous essayez de lire un menu français. Les lunettes intelligentes peuvent effectuer une traduction en temps réel sans avoir à consulter votre téléphone.

Il peut même lire les gestes dans différentes langues, ce qui en fait un incontournable pour voyager.

De plus, en plus d'être prises en charge par le multimodal Llama 3, Meta a également annoncé que les lunettes intelligentes intègrent les appels vidéo mains libres avec WhatsApp et Messenger.

En même temps, différents modèles de montures à la mode peuvent être utilisés avec des lunettes de vue.

Cependant, ces lunettes intelligentes commencent à 300 $ US (2 100 yuans), ce qui n'est pas bon marché.

Testé avec précision, il est plus pratique d'identifier des objets à l'extérieur qu'un téléphone portable

Surfant sur l'enthousiasme suscité par la mise à jour, le média étranger The Verge a publié une critique d'une personne qui s'est qualifiée à l'avance pour les tests internes.

Il y a quelque temps, le Pin AI de l'appareil intelligent Humane a été critiqué en raison de performances insatisfaisantes. Le fait est qu'à 700 $, ça n'en vaut pas la peine.

L'auteur a déclaré : "Nous ne devrions pas avoir d'attentes trop élevées à l'égard des lunettes intelligentes Meta, car elles ne sont pas omnipotentes."

La moitié du plaisir des tests est de découvrir où sont leurs limites.

Peut-il identifier correctement cette voiture aléatoire dans la rue ? (une Alfa Romeo Giulia Quadrifoglio et une Alfa Romeo Tonale).

Comme la plupart des IA, la Meta AI est parfois très précise et parfois hallucinante.

Il a correctement identifié Giulia. Mais Tonale est également identifiée comme étant Giulia.

Mais intéressant à noter, les deux voitures n'ont presque aucune similitude, la Giulia est une berline et la Tonale est un SUV crossover.

L'auteur lui a également demandé d'identifier les plantes succulentes qu'il cultivait (comme certaines d'entre elles lui avaient été données par d'autres, il ne connaissait pas entièrement les variétés spécifiques).

Meta a répondu : "Variétés Echeveria, aloe vera et Crassula".

Mais en fait, l'auteur a utilisé Planta, une application qui peut identifier les plantes grâce à des photos d'IA, pour le vérifier et a constaté qu'aucune des plantes n'était de l'Echeveria.

Le plus excitant, c'est que l'amant de l'auteur a accidentellement vu un gros écureuil dans le jardin du voisin et a mis des lunettes intelligentes pour identifier de quelle espèce il s'agissait.

L'auteur a pris la photo avec son téléphone portable et l'a essayée avec une autre application.

Effectivement, Meta l'a mal identifié, mais l'application utilisée par l'auteur l'a identifié avec succès comme une marmotte.

Cependant, lorsque les lunettes intelligentes ont été utilisées pour identifier les photos sur le téléphone, la bonne réponse de "Marmot" a bien été donnée.

Ce cas montre que les lunettes AR ne disposent pas de la fonction "zoom", ce qui conduit à une mauvaise réponse.

En plus des capacités de reconnaissance multimodale, la vitesse de réponse était également très rapide lorsque l'auteur l'a testé lorsqu'il était associé à un téléphone mobile. Dans le même temps, les lunettes intelligentes intègrent des fonctions sonores, éliminant ainsi les problèmes liés au port de lunettes et rendant l'interaction plus naturelle.

En général, les lunettes intelligentes Meta jouent un rôle énorme dans l'identification des objets lors des activités de plein air, et l'assistant IA joue un rôle énorme.

Dans le passé, lorsque l'auteur voyait quelque chose d'intéressant en sortant, il devait sortir son téléphone portable et prendre une photo pour l'identifier.

Désormais, les lunettes intelligentes peuvent également très bien étendre les capacités des téléphones portables, à condition que le contenu que vous souhaitez identifier ne soit pas agrandi plusieurs fois.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!