Parlons des systèmes de conduite autonome de bout en bout et de nouvelle génération, ainsi que de quelques malentendus sur la conduite autonome de bout en bout ?

Au cours du mois dernier, pour des raisons bien connues, j'ai eu des échanges très intensifs avec divers professeurs et camarades de classe du secteur. Un sujet inévitable dans l'échange est naturellement le populaire Tesla FSD V12 de bout en bout. Je voudrais profiter de cette occasion pour trier certaines de mes pensées et opinions en ce moment pour votre référence et votre discussion.

Comment définir un système de conduite autonome de bout en bout, et quels problèmes devons-nous espérer résoudre de bout en bout ?

Selon la définition la plus traditionnelle, un système de bout en bout fait référence à un système qui saisit les informations brutes des capteurs et génère directement les variables pertinentes pour la tâche. Par exemple, en reconnaissance d'images, CNN peut être appelé de bout en bout par rapport à la méthode traditionnelle d'extraction de caractéristiques + classificateur. Dans les tâches de conduite autonome, les données de divers capteurs (caméras/LiDAR/Radar/IMU, etc.) sont entrées et les signaux de commande pour la conduite du véhicule (angle de l'accélérateur/du volant, etc.) sont directement émis. Afin de considérer le problème d'adaptation entre différents modèles, la sortie peut également être adaptée à la trajectoire du véhicule. Il s’agit d’une définition au sens traditionnel, ou ce que j’appelle une définition étroite de bout en bout. Sur cette base, une certaine supervision des tâches intermédiaires a également été dérivée pour améliorer les capacités de performance.

Cependant, en plus d'une définition aussi étroite, nous devrions également y réfléchir essentiellement : quelle est l'essence du bout en bout ? Je pense que l'essence du bout en bout devrait être la transmission sans perte d'informations sensorielles. Rappelons d'abord à quoi ressemble l'interface entre les modules de détection et les modules PnC dans un système non de bout en bout. Généralement, nous aurons une détection/analyse d'attributs/prédiction pour les objets de la liste blanche (voitures, personnes, etc.) et une compréhension de l'environnement statique (structure routière/limite de vitesse/feux de circulation, etc.). Nous effectuerons également un travail de détection d'obstacles généraux. D'un point de vue macro, les informations produites par la perception sont une abstraction de scénarios de conduite complexes, et c'est une abstraction explicite définie manuellement. Cependant, pour certains scénarios inhabituels, l'abstraction explicite actuelle ne peut pas exprimer pleinement les facteurs qui affectent le comportement de conduite dans la scène, ou les tâches que nous devons définir sont trop nombreuses et trop triviales, et il est difficile d'énumérer toutes les tâches requises. Par conséquent, le système de bout en bout fournit une représentation complète (peut-être implicite), dans l’espoir d’appliquer automatiquement et sans perte ces informations au PnC. Je pense que tous les systèmes capables de répondre à de telles exigences peuvent être qualifiés de de bout en bout généralisé.

En ce qui concerne d'autres problèmes, tels qu'une certaine optimisation des scénarios d'interaction dynamique, mon opinion personnelle est qu'au moins non seulement de bout en bout peut résoudre ces problèmes, mais que les méthodes traditionnelles peuvent résoudre ces problèmes. Bien entendu, lorsque la quantité de données est suffisamment importante, le système de bout en bout peut constituer une très bonne solution. La question de savoir si cela est nécessaire sera discutée dans les prochaines questions.

Quelques malentendus sur la conduite autonome de bout en bout ?

Assurez-vous d'émettre des signaux de contrôle et des points de cheminement de bout en bout

Pour le concept de bout en bout généralisé, si vous pouvez être d'accord avec le concept mentionné ci-dessus, alors ce problème sera facile à résoudre comprendre. Le bout en bout met l’accent sur la transmission sans perte des informations, plutôt que sur la sortie directe du volume de tâches. Une telle méthode de traitement de bout en bout nécessite un grand nombre de solutions secrètes pour assurer la sécurité, et rencontrera également certains problèmes au cours du processus de mise en œuvre, qui se dévoileront progressivement au cours du traitement ultérieur.

Le système de bout en bout doit être basé sur de grands modèles ou sur une vision pure

Le concept de conduite autonome de bout en bout n'a pas de lien nécessaire avec la conduite autonome sur grand modèle et la conduite autonome visuelle pure . Ces trois concepts existent de manière totalement indépendante. Un système de bout en bout ne doit pas nécessairement être piloté par un grand modèle au sens traditionnel du terme, ni nécessairement purement visuel. Il existe des liens entre les trois, mais ils ne sont pas équivalents.

J'ai déjà écrit un article qui développe la relation entre ces concepts. Pour plus de détails, voir : https://zhuanlan.zhihu.com/p/664189972

À long terme, est-il possible pour ce qui précède ? Le système de bout en bout mentionné au sens étroit est-il possible ? Parvenir à une conduite autonome au-dessus du niveau L3 ?

En fait, je veux d'abord me plaindre, Ceux qui prétendent utiliser de grands modèles pour renverser L4 n'ont jamais réellement fait de L4 ; ceux qui prétendent pouvoir guérir toutes les maladies de bout en bout n'ont jamais fait de PnC. Ainsi, après avoir discuté de bout en bout avec de nombreuses personnes enthousiastes, cela s'est transformé en une dispute purement religieuse qui ne peut être vérifiée ou falsifiée. Nous, les étudiants engagés dans la recherche et le développement de pointe, devrions encore être plus pragmatiques et prêter attention aux preuves. . . À tout le moins, vous devez avoir quelques connaissances de base sur ce que vous souhaitez renverser et comprendre les questions épineuses impliquées. C’est la qualité scientifique de base que vous devez avoir. . .

Pour revenir au sujet, pour le moment, je suis pessimiste. Indépendamment du fait que le FSD prétend actuellement être purement de bout en bout, ses performances sont loin d'atteindre la fiabilité et la stabilité requises au-dessus du niveau L3 à l'avenir, même si ce véhicule est statistiquement aussi sûr qu'un humain. il devra encore faire face à la manière d'être aussi sûr qu'une erreur d'alignement du conducteur. Pour le dire plus crûment, si un système de conduite autonome veut être accepté par le public et l'opinion publique, la clé ne réside peut-être pas dans un taux d'accidents et un taux de mortalité absolus, mais dans la question de savoir si le public peut accepter que certains scénarios soient nocif pour les humains. Relativement facile à résoudre, alors que les machines font des erreurs. Cette exigence est plus difficile à satisfaire pour un système pur de bout en bout. Plus précisément, cela a été expliqué dans une réponse que j'ai donnée il y a 21 ans. Pour plus de détails, voir :

Comment voir le message Moments de Robin Li : La conduite sans conducteur provoquera certainement un accident, mais la probabilité est bien inférieure à celle de la conduite humaine ?

https://www.zhihu.com/question/530828899/answer/2590673435?utm_psn=1762524415009697792

Prenez Waymo et Cruise en Amérique du Nord comme exemples. En fait, ils ont eu de nombreux accidents, mais pourquoi Cruise est-il apparu en dernier. moment ? Quel accident est particulièrement inacceptable pour les régulateurs et le public ? Cet accident a fait deux blessés. La première collision était assez difficile à éviter pour les conducteurs humains, mais elle était en fait acceptable. Cependant, après cette collision, de graves blessures secondaires se sont produites : le système a mal évalué le lieu de la collision et l'emplacement des blessés, afin de ne pas bloquer la circulation, il est passé en mode arrêt et a traîné les blessés pendant une longue période. Un tel comportement est quelque chose qu’aucun conducteur humain normal ne ferait, et l’impact est très mauvais. Cet incident a directement conduit à des troubles ultérieurs à Cruise. Cet incident a en fait tiré la sonnette d'alarme pour nous : comment éviter que de telles choses ne se produisent devrait être une considération sérieuse dans le développement et l'exploitation de systèmes de conduite autonomes.

Alors en ce moment, quelles sont les solutions pratiques pour la prochaine génération de systèmes de conduite assistée produits en série ?

Pour faire simple, je pense qu'un système approprié doit d'abord explorer pleinement la limite supérieure des capacités du système traditionnel, puis la combiner avec une flexibilité et une universalité de bout en bout, ce qui est un progressive de bout en bout -fin solution. Bien sûr, comment combiner les deux de manière organique est un contenu payant, haha. . . Mais nous pouvons analyser ce que fait actuellement ce que l’on appelle le planificateur de bout en bout ou basé sur l’apprentissage.

D'après ma compréhension limitée, lorsque le modèle actuel dit de bout en bout est utilisé dans la conduite, la trajectoire de sortie sera suivie par une solution basée sur des méthodes traditionnelles, ou un tel planificateur basé sur l'apprentissage et un algorithme de planification de trajectoire traditionnel. . Plusieurs trajectoires seront générées en même temps, puis un sélecteur sera utilisé pour en sélectionner une à exécuter. Si l'architecture du système est conçue de cette manière, la limite supérieure des performances d'un tel système en cascade est en réalité limitée par un tel plan de dissimulation et un tel sélecteur. Si une telle solution est toujours basée sur un pur apprentissage rétroactif, il y aura toujours des échecs imprévisibles et elle ne pourra essentiellement pas atteindre l’objectif d’être sûr. Si vous envisagez d'utiliser une méthode de planification traditionnelle pour optimiser ou sélectionner une telle trajectoire de sortie, elle est équivalente à la trajectoire produite par la méthode basée sur l'apprentissage. Elle fournit simplement une solution initiale à un tel problème d'optimisation et de recherche. nous directement Qu'en est-il de l'optimisation et de la recherche de telles trajectoires ?

Bien sûr, certains étudiants sauteront le pas et diront qu'un tel problème d'optimisation ou de recherche n'est pas convexe et que l'espace d'état est trop grand pour être implémenté en temps réel sur un système monté sur véhicule. Je demande à chacun de réfléchir attentivement à cette question : au cours des 10 dernières années, le système de perception a bénéficié d'un développement de dividendes en puissance de calcul d'au moins 100 fois, mais qu'en est-il de notre module PnC ? Si nous permettons également au module PnC d’utiliser une grande puissance de calcul, combinée à certains développements d’algorithmes d’optimisation avancés ces dernières années, cette conclusion sera-t-elle toujours valable ? Face à de tels problèmes, nous ne devons pas nous reposer sur nos lauriers et nous appuyer sur des pistes, mais réfléchir à ce qui est juste selon les premiers principes.

Comment concilier la relation entre les méthodes data-driven et traditionnelles ?

En fait, un exemple très similaire à la conduite autonome est celui de jouer aux échecs rien qu'en février de cette année, Deepmind a publié un article (Grandmaster-Level Chess Without Search : https://arxiv.org/abs/2402.04494). En explorant s'il est possible d'utiliser uniquement la recherche basée sur les données et d'abandonner la recherche MCTS dans AlphaGo et AlphaZero. Une analogie avec la conduite autonome est qu’un seul réseau est utilisé pour générer directement des actions, ignorant toutes les étapes ultérieures. La conclusion de l'article est qu'avec une échelle considérable de données et de paramètres de modèle, un résultat raisonnable peut être obtenu sans recherche. Cependant, par rapport à la méthode plus recherche, il existe encore un écart très important. (La comparaison ici dans l'article n'est en fait pas juste. L'écart réel devrait être encore plus grand.) Surtout lorsqu'il s'agit de résoudre certaines fins de partie difficiles, les performances purement basées sur les données sont très médiocres. Cette analogie avec la conduite autonome signifie que dans des scénarios difficiles ou des situations difficiles qui nécessitent des jeux en plusieurs étapes, il est encore difficile d'abandonner complètement les algorithmes traditionnels d'optimisation ou de recherche. Utiliser raisonnablement les avantages de diverses technologies comme AlphaZero est le moyen le plus efficace d’améliorer les performances.

Méthode traditionnelle = basée sur des règles, sinon ?

Ce concept doit également être corrigé à plusieurs reprises dans mes interactions avec de nombreuses personnes. Selon la définition de nombreuses personnes, tant qu'elle n'est pas purement basée sur des données, elle est appelée basée sur des règles. Prenons l'exemple du jeu d'échecs. La mémorisation de formules et d'enregistrements d'échecs par cœur est basée sur des règles, mais si vous donnez au modèle des capacités de raisonnement via la recherche et l'optimisation comme AlphaGo et AlphaZero, je ne pense pas que cela puisse être qualifié de basé sur des règles. C’est précisément ce qui manque au grand modèle actuel et ce que les chercheurs tentent de proposer comme modèle basé sur l’apprentissage via CoT et d’autres méthodes. Cependant, chaque action d'une personne au volant a une motivation claire, ce qui est différent des tâches telles que la reconnaissance d'images purement basée sur les données, qui ne peuvent pas en décrire clairement les raisons. Dans le cadre d’une conception d’architecture algorithmique appropriée, les trajectoires de décision devraient devenir variables et être optimisées uniformément sous la direction d’un objectif scientifique. Plutôt que de résoudre divers cas en appliquant de force des correctifs et en ajustant les paramètres. Un tel système n’aura naturellement pas de règles étranges de code en dur.

Résumé

Enfin, le bout en bout est peut-être une voie technique prometteuse, mais il reste encore beaucoup à explorer sur la manière dont un tel concept peut être mis en pratique. Est-ce la seule bonne solution pour empiler les données et les paramètres du modèle ? À mon avis, ce n’est pas le cas pour le moment ? Je pense qu'en tant que technicien de recherche de pointe, nous devrions à tout moment poursuivre véritablement les premiers principes et la pensée d'ingénieur mentionnés par Musk, et réfléchir à l'essence du problème à partir de la pratique, plutôt que de faire de Musk lui-même un premier principe. . Si vous voulez être vraiment loin devant, vous ne devez pas abandonner la réflexion et suivre ce que disent les autres, sinon vous devrez continuer à essayer de dépasser dans les virages.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!