Nouvelle avancée dans « l’interaction homme-véhicule » ! L'Université Purdue lance le framework Talk2Drive : un système de « reconnaissance de commandes » apprenable/personnalisable

Dans les dernières recherches du Digital Twin Laboratory de l'Université Purdue, les scientifiques ont adopté une technologie révolutionnaire : l'utilisation de grands modèles de langage (LLM) pour améliorer les capacités d'analyse intelligente des commandes des véhicules autonomes. Cette innovation apporte de nouvelles possibilités au développement de la technologie de conduite autonome et devrait améliorer la compréhension et la vitesse de réponse des véhicules aux instructions de conduite.

La clé de cette technologie est le framework Talk2Drive, qui vise à utiliser le langage naturel humain pour contrôler les voitures autonomes, créant ainsi une manière unique d'interaction homme-véhicule.

Photos

Lien papier : https://www.php.cn/link/5f221386d076f4e7f6a97bb3b406c7b8

Site Web du projet : purduedigitaltwin.github.io/llm4ad

Réalisé grâce à sa conception innovante, Conduite autonome du framework Talk2Drive Efficace, interactions intuitives entre les voitures et les conducteurs humains. Le processus d'exécution du framework comprend des étapes clés telles que la réception de commandes, le traitement et le raisonnement, la génération de code exécutable, l'exécution du code et la collecte de commentaires. Grâce à ces étapes, le cadre garantit que les véhicules autonomes interagissent avec les conducteurs de manière sûre et fiable et prennent les décisions et actions nécessaires en cas de besoin. Le framework Talk2Drive est conçu pour améliorer l’expérience de conduite et fournit un soutien important au développement de technologies de conduite autonome.

Tout d'abord, grâce à une technologie avancée de reconnaissance vocale, le cadre peut recevoir et convertir avec précision les commandes verbales humaines en instructions textuelles, garantissant ainsi une compréhension précise des intentions humaines.

Combiné aux données environnementales en temps réel provenant du cloud, telles que les conditions météorologiques et de circulation, LLM intégrera ces informations contextuelles clés lors du traitement des instructions pour garantir que la stratégie de conduite développée est à la fois sûre et adaptable aux conditions environnementales actuelles.

Pictures

LLM utilise l'apprentissage contextuel et les invites de la chaîne de pensée pour raisonner sur les instructions. Le code généré contient non seulement des instructions de conduite de base, mais implique également des comportements de conduite complexes et des paramètres qui doivent être ajustés au niveau bas du véhicule. manette. L’ajustement de ces paramètres, tels que la distance prévisionnelle et la vitesse, repose sur une compréhension approfondie des conditions routières actuelles et des besoins des conducteurs.

En termes de sécurité, le framework Talk2Drive assure la sécurité du comportement de conduite autonome en vérifiant strictement le format et les paramètres du code généré.

, durée 05:24

De plus, l'introduction du module de mémoire permet au système d'enregistrer et d'apprendre les préférences et les commentaires du conducteur, offrant ainsi au conducteur une expérience de conduite plus personnalisée.

La particularité du framework Talk2Drive réside dans son service hautement personnalisé.

En analysant les instructions verbales des passagers, telles que « S'il vous plaît, emmenez-moi à destination le plus tôt possible, je ne veux pas faire attendre mes amis trop longtemps » ou « J'ai un peu le mal des transports, ralentissez s'il vous plaît », le cadre peut comprendre et répondre avec précision aux besoins des passagers. Chaque interaction homme-véhicule est enregistrée et utilisée pour optimiser le système, lui permettant ainsi de connaître les préférences des passagers et d'offrir une expérience de conduite plus personnalisée à l'avenir.

Photos

De plus, les résultats expérimentaux montrent qu'en utilisant différents LLM pour les conducteurs ayant différents styles de conduite, les voitures autonomes utilisant le cadre Talk2Drive ont obtenu de bons résultats lors d'essais routiers réels et ont été capables de comprendre les conducteurs avec différents niveaux de conduite. l'obscurité, réduisant efficacement le besoin de prise de contrôle manuelle et étant capable de s'adapter à différents styles de conduite et scénarios.

Cette réalisation démontre non seulement l'énorme potentiel des grands modèles linguistiques dans le domaine de la conduite autonome, mais ouvre également une nouvelle voie pour le développement futur de la technologie de conduite autonome.

Photos

Pour différents types de conducteurs, l'utilisation du framework Talk2Drive peut réduire considérablement le taux de prise en charge pendant la conduite.

Grâce aux progrès et à l'optimisation continus de la technologie, le cadre Talk2Drive sera en mesure de fournir une expérience de conduite plus sûre, plus confortable et personnalisée pour les véhicules autonomes. Cette recherche révolutionnaire marque non seulement l’intégration et les progrès de la conduite autonome et de l’interaction homme-machine, mais annonce également l’arrivée d’une future ère de transport plus intelligente et axée sur les personnes.

Équipe de recherche

Le laboratoire Digital Twin de l'Université Purdue s'engage dans l'innovation et l'exploration à l'intersection des grands modèles de langage et de la conduite autonome.

Nous invitons les chercheurs, ingénieurs et collègues de l'industrie du monde entier intéressés par ce domaine à visiter le site Web de notre projet afin de promouvoir conjointement le développement de la technologie de conduite autonome et d'explorer les possibilités des transports du futur.

Photos

Référence :

https://www.php.cn/link/5f221386d076f4e7f6a97bb3b406c7b8

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!