Das Neueste von der University of California! CarDreamer: Eine umfassende und flexible Open-Source-Plattform für das Testen von autonomen Fahralgorithmen

Oben geschrieben & das persönliche Verständnis des Autors

Um in komplexen realen Szenarien sicher navigieren zu können, müssen autonome Fahrzeuge in der Lage sein, sich an verschiedene Straßenbedingungen anzupassen und zukünftige Ereignisse vorherzusagen. Auf Weltmodellen basierendes Reinforcement Learning (RL) hat sich als vielversprechender Ansatz herausgestellt, um dies durch Lernen und Vorhersagen der komplexen Dynamik verschiedener Umgebungen zu erreichen. Allerdings gibt es derzeit keine zugängliche Plattform zum Trainieren und Testen solcher Algorithmen in komplexen Fahrumgebungen. Um diese Lücke zu schließen, wird hier CarDreamer vorgestellt, die erste Open-Source-Lernplattform, die speziell für die Entwicklung und Bewertung selbstfahrender Algorithmen auf der Grundlage von Weltmodellen entwickelt wurde. Es enthält drei Schlüsselkomponenten:

1%) Weltmodell (WM) Backbone: CarDreamer integriert einige der fortschrittlichsten Weltmodelle, um die Reproduktion von RL-Algorithmen zu vereinfachen. Das Backbone ist von anderen Teilen entkoppelt und kommuniziert über Standard-Gym-Schnittstellen, sodass Benutzer ihre eigenen Algorithmen einfach integrieren und testen können. Das Hauptziel von CarDreamer besteht darin, eine flexible und skalierbare Plattform bereitzustellen, die es Forschern und Entwicklern ermöglicht, verschiedene Reinforcement-Learning-Algorithmen schnell zu iterieren und zu testen. Die Plattform basiert auf der Kernidee von WM, die das Weltmodell in zwei Hauptkomponenten unterteilt: Wahrnehmung und Planung. Die Wahrnehmungskomponente ist dafür verantwortlich, Roheingaben aus der Umgebung aufzunehmen und in

CarDreamer umzuwandeln. CarDreamer bietet einen hochgradig konfigurierbaren Satz von Fahraufgaben (2 %). Gym-Schnittstelle und ausgestattet mit einer empirisch optimierten Belohnungsfunktion.

CarDreamer ist ein flexibles Missionsentwicklungskit, um die Erstellung von Fahrmissionen zu vereinfachen. Die Suite erleichtert die Definition von Verkehrsströmen und Fahrzeugrouten und sammelt automatisch Simulationsdaten. Mit dem Visualisierungsserver können Benutzer Echtzeit-Video- und Leistungsmetriken zur Agentensteuerung über einen Browser verfolgen. Darüber hinaus führte CarDreamer Umfangs- und Flexibilitätsstudien durch, um die Leistung und das Potenzial von WM beim autonomen Fahren zu bewerten. Aufgrund der umfangreichen Funktionalität und Flexibilität von CarDreamer werden auch die Auswirkungen von Beobachtungsmodi, Beobachtbarkeit und Fahrzeugabsichtsteilung auf die AV-Sicherheit und -Effizienz systematisch untersucht.

Hintergrund der Feldentwicklung

Zukünftige Mobilitätssysteme werden eine zentrale Rolle in autonomen Fahrzeugen spielen und viele vielversprechende Vorteile wie Sicherheit und Effizienz bieten. In den letzten Jahren wurden bei der Entwicklung autonomer Fahrzeuge große Erfolge erzielt. Allein in den USA haben selbstfahrende Autos bereits Millionen von Kilometern auf öffentlichen Straßen zurückgelegt. Allerdings bleibt die Entwicklung robuster autonomer Fahrzeuge, die in der Lage sind, komplexe und vielfältige reale Szenarien zu meistern, eine Herausforderung. Nach Berechnungen der Federal Highway Administration des US-Verkehrsministeriums ist die Unfallrate selbstfahrender Autos etwa doppelt so hoch wie bei herkömmlichen Fahrzeugen. Dennoch wird erwartet, dass sich die Kollisionsraten selbstfahrender Autos im Zuge der weiteren technologischen Weiterentwicklung deutlich verbessern werden. Um eine höhere Sicherheit zu erreichen, müssen autonome Fahrzeuge über erweiterte Wahrnehmungs- und Entscheidungsfähigkeiten verfügen. Durch den Einsatz fortschrittlicher Sensortechnologie und maschineller Lernalgorithmen können autonome Fahrzeuge das Verhalten von Hindernissen und anderen Fahrzeugen in ihrer Umgebung genauer identifizieren und vorhersagen. Darüber hinaus können autonome Fahrzeuge durch die Abstimmung mit den Verkehrsbehörden die Effizienz des Verkehrsflusses verbessern. Durch die Vernetzung mit Ampeln und anderen Verkehrseinrichtungen können selbstfahrende Autos Geschwindigkeit und Route in Echtzeit anpassen und so den Verkehr reduzieren

Die Zuverlässigkeit selbstfahrender Autos bestimmt direkt die Generalisierungsfähigkeit des selbstfahrenden Systems in unvorhersehbaren Szenarien. Weltmodelle (WM) bieten mit ihren hervorragenden Generalisierungsfähigkeiten eine vielversprechende Lösung, indem sie die komplexe Dynamik der Umgebung lernen und zukünftige Szenarien vorhersagen. Insbesondere lernt WM ein kompaktes Latent und kodiert dynamisch die Schlüsselelemente und Dynamiken der Umgebung. Diese erlernte Darstellung trägt zu einer besseren Verallgemeinerung bei und ermöglicht WM die Vorhersage in Szenarien, die über seine Trainingsbeispiele hinausgehen. Intern enthält WM Komponenten, die die menschliche Wahrnehmung und Entscheidungsfindung nachahmen, wie zum Beispiel visuelle Modelle und Gedächtnismodelle. Tatsächlich liegt der Grund, warum Menschen in der Lage sind, bei unbekannten oder unsichtbaren Ereignissen geeignete Maßnahmen zu ergreifen, genau im inneren Weltmodell des Menschen. Durch die Simulation kognitiver Prozesse, die der menschlichen Intelligenz ähneln, haben WM-basierte Reinforcement Learning (RL)-Algorithmen in Bereichen wie Atari-Spielen und Minecraft Spitzenleistung bewiesen. Allerdings bleibt die Anwendung von WM beim autonomen Fahren ein spannendes Gebiet, was teilweise auf den Mangel an einfach zu bedienenden Plattformen zum Trainieren und Testen solcher RL-Algorithmen zurückzuführen ist. Die Entwicklung einer auf WM basierenden Lernplattform für autonomes Fahren wird für die Forschung in diesem Bereich von großem Nutzen sein.

Angetrieben von diesen Faktoren haben wir CarDreamer auf den Markt gebracht. Dies ist die erste Open-Source-Lernplattform, die speziell für WM-basiertes autonomes Fahren entwickelt wurde. CarDreamer erleichtert die schnelle Entwicklung und Evaluierung von Algorithmen und ermöglicht Benutzern, ihre Algorithmen anhand bereitgestellter Aufgaben zu testen oder mithilfe eines umfassenden Entwicklungskits schnell benutzerdefinierte Aufgaben zu implementieren. Zu den drei wichtigsten Beiträgen von CarDreamer gehören: 1. Schnelle Entwicklung und Bewertung: CarDreamer bietet eine Reihe leistungsstarker Tools für die schnelle Entwicklung und Bewertung von Algorithmen. Benutzer können diese Tools nutzen, um ihre Algorithmen zu testen, autonome Fahrexperimente für bereitgestellte Aufgaben durchzuführen und Leistungsbewertungen durchzuführen. 2. Benutzerdefinierte Aufgaben: CarDreamer bietet ein umfassendes Entwicklungskit, mit dem Benutzer benutzerdefinierte Aufgaben schnell implementieren können. Dies ermöglicht es Benutzern, ihre eigenen autonomen Fahralgorithmen basierend auf spezifischen Anforderungen zu entwickeln und diese auf der CarDreamer-Plattform zu testen und zu validieren. 3. Zu den wichtigsten Beiträgen gehören: CarDreamer bietet außerdem einen

1. integrierten WM-Algorithmus zur Erzielung einer Reproduktion. CarDreamer integriert das fortschrittlichste WM, einschließlich DreamerV2, DreamerV3 und Planning2Explore, und reduziert so den Zeitaufwand für die Reproduktion der Leistung bestehender Algorithmen erheblich. Diese Algorithmen sind vom Rest von CarDreamer entkoppelt und kommunizieren über eine einheitliche Gym-Schnittstelle. Dadurch können neue Algorithmen ohne zusätzlichen Anpassungsaufwand direkt integriert und getestet werden, sofern sie die Gym-Schnittstelle unterstützen.
2. Hochgradig konfigurierbare integrierte Aufgaben für optimierte Belohnungen. CarDreamer bietet ein umfassendes Set an Fahraufgaben wie Spurwechsel und Überholen. Diese Aufgaben ermöglichen eine umfassende Anpassung in Bezug auf Schwierigkeitsgrad, Beobachtbarkeit, Beobachtungsmodi und Fahrzeugabsichtskommunikation. Zur Vereinfachung der Nutzung verfügen sie über die gleiche Gym-Schnittstelle und die Belohnungsfunktionen wurden sorgfältig entwickelt, um die Trainingseffizienz zu optimieren.
3. Task Development Kit und Visualisierungsserver. Das Kit vereinfacht nicht nur die Erstellung benutzerdefinierter Fahraufgaben mit API-gesteuerter Verkehrsgenerierung und -steuerung, sondern enthält auch einen modularen Beobachter, um die multimodale Datenerfassung und -konfiguration zu erleichtern. Ein Visualisierungsserver ermöglicht die Echtzeitanzeige von Videos und Statistiken zur Agentensteuerung, beschleunigt die Entwicklung von Belohnungen und Algorithmen über einen Webbrowser und bietet sofortige Einblicke in die Leistung.

Einführung in andere Frameworks

Hier finden Sie eine kurze Einführung in die beiden Eckpfeiler von CarDreamer, CARLA und Gym. CARLA ist ein hochpräziser und flexibler Simulator und eine Standardschnittstelle für das Training und die Bewertung von Reinforcement Learning. Gym ist ein Open-Source-Toolkit für verstärkendes Lernen, das eine reichhaltige Umgebung und Algorithmen bietet. CarDreamer nutzt diese beiden Eckpfeiler für Training und Evaluierung und nutzt RL (Reinforcement Learning) als Schnittstelle für Modelltraining und Evaluierung.

CARLA ist ein Open-Source-Simulator zur Simulation realer Verkehrsszenarien. CARLA basiert auf der Unreal Engine, die realistische physikalische Effekte und hochwertiges Rendering bietet. CARLA stellt digitale Assets bereit, darunter Karten, Gebäude, Fahrzeuge und verschiedene Sehenswürdigkeiten. Es unterstützt verschiedene Sensoren wie RGB-Kameras, LiDAR und RADAR. Benutzer können Fahrzeuge oder Fußgänger erstellen und haben die volle Kontrolle über diese Charaktere. Dies ist zwar ein sehr vielseitiges Werkzeug, sein größter Nachteil bei der Anwendung von RL-Algorithmen ist jedoch auch auf seine Allgemeingültigkeit zurückzuführen. Die Gewinnung einer BEV-Extraktion (Vogelperspektive) und ein langwieriger Prozess behindern den schnellen Einsatz beim Training von RL-Algorithmen.

gym ist eine von OpenAI definierte Standardschnittstelle, um die Kommunikation zwischen dem Agenten und der Umgebung zu standardisieren. Der Kernteil dieser Schnittstelle besteht aus zwei Funktionen: reset() und step(action). Ersteres initialisiert die Umgebung in ihren Ausgangszustand. Letzterer erhält eine Aktionseingabe vom Agenten, simuliert die Entwicklung der Umgebung und gibt Beobachtungsdaten, Belohnungssignale, Beendigungsindikatoren und einige zusätzliche Informationen zurück. Auf diese Weise können RL-Algorithmen problemlos in verschiedenen Umgebungen ohne umfangreiche Abstimmung getestet werden, sofern beide die Fitnessstudio-Schnittstelle unterstützen. Es gab viele Anstrengungen, verschiedene Fitnessstudio-Benchmarks wie Atari-Spiele, DMC-Suiten usw. zu entwickeln. In CARLA wird der WM-basierte RL-Algorithmus im Bereich des autonomen Fahrens verwendet, und CarDreamer ist eine Plattform, die über die Fitnessstudio-Schnittstelle verschiedene städtische Fahraufgaben bereitstellt, um Training und Bewertung zu erleichtern.

CarDreamer-Netzwerkstruktur

Wie in Abbildung 1 dargestellt, enthält CarDreamer drei Hauptkomponenten: integrierte Aufgaben, Aufgabenentwicklungskits und ein Weltmodell-Backbone. Das Mission Development Kit bietet eine Vielzahl von API-Funktionen, darunter das Erstellen von Fahrzeugen, die Steuerung des Verkehrsflusses und die Planung von Routen in CARLA. Ein Beobachtungsmodul sammelt automatisch multimodale Beobachtungsdaten wie Sensordaten und BEV (Bird's Eye View), die durch unabhängige und anpassbare Datenverarbeitungsverfahren verwaltet werden. Diese Daten dienen einem doppelten Zweck: Sie werden von Aufgaben- und Trainingsvisualisierungsservern verwendet. Der Visualisierungsserver zeigt Fahrvideos und Umgebungsfeedback in Echtzeit über einen HTTP-Server an und ist über die Fitnessstudio-Schnittstelle nahtlos in den Weltmodellalgorithmus integriert. Nachdem das Beobachtungsmodul die Antwort des Agenten als Aktion erhalten hat, sammelt es im nächsten Frame Daten vom Datenhandler und setzt so diesen Operationszyklus fort.

Hier wird eine Vielzahl realistischer Aufgaben sorgfältig entworfen, die von einfachen Fertigkeiten wie Spurhalten und Linksabbiegen bis hin zu komplexeren Herausforderungen wie zufälligem Roaming bei unterschiedlichen Straßenverhältnissen, einschließlich Kreuzungen, Kreisverkehren und unterschiedlichen Verkehrsströmen, reichen. Diese Aufgaben sind hochgradig konfigurierbar und bieten viele Optionen, die grundlegende Fragen beim autonomen Fahren aufwerfen.

Beobachtbarkeit und Teilen von Absichten: Beim Reinforcement Learning stellt die teilweise Beobachtbarkeit eine erhebliche Herausforderung dar, da unvollständige Zustandsinformationen die Komplexität des Eingaberaums durch die Einbeziehung aller historischen Schritte exponentiell erhöhen können. Um dem Mangel an Werkzeugen beim autonomen Fahren entgegenzuwirken, die auf diese Herausforderungen zugeschnitten sind, bieten wir in CarDreamer drei Beobachtbarkeitseinstellungen an: 1) Das Sichtfeld (Field of View, FOV) umfasst nur Fahrzeuge im Sichtfeld der Kamera. 2) Shared Field of View (SFOV) ermöglicht es Fahrzeugen, mit anderen Fahrzeugen innerhalb ihres eigenen Sichtfelds zu kommunizieren und FOV-Daten zu sammeln. 3) Vollständige Beobachtbarkeit (FULL) setzt vollständige Umgebungs- und Hintergrundverkehrsinformationen voraus. Darüber hinaus können Benutzer steuern, ob das Fahrzeug seine Absichten teilt und mit wem es geteilt wird. Diese Konfigurationen sind auf die grundlegenden Fragen „Welche Botschaft soll kommuniziert werden“ und „Wem soll kommuniziert werden“ ausgerichtet . Beobachtungsmodi : Benutzer können den Beobachtungsraum so konfigurieren, dass er eine Vielzahl von Modi umfasst, von Sensordaten wie RGB-Kameras und LiDAR bis hin zu synthetischen Daten wie BEV. Diese Flexibilität unterstützt die Entwicklung von End-to-End-Modellen, die in der Lage sind, Entscheidungen direkt aus multimodalen Rohsensordaten zu treffen oder BEV-Sensorik für die Planung zu nutzen. Schwierigkeitsgrad : Der Schwierigkeitsgrad wirkt sich in erster Linie auf die Verkehrsdichte aus und stellt erhebliche Herausforderungen bei der Kollisionsvermeidung dar. Da sicherheitskritische Ereignisse für autonome Fahrzeuge selten sind, ist die Überprüfung der Robustheit autonomer Fahrzeuge aufgrund der Seltenheit solcher Ereignisse von Natur aus schwierig. CarDreamer wurde speziell für die umfassende Bewertung von Sicherheit und Effizienz in Szenarien entwickelt, die diese seltenen, aber kritischen Ereignisse simulieren.

Belohnungsfunktion. Jede Aufgabe in CarDreamer ist mit einer optimierten Belohnungsfunktion ausgestattet, und Experimente zeigen, dass DreamerV3 dadurch in nur 10.000 Trainingsschritten erfolgreich zu Orientierungspunkten navigieren kann (Einzelheiten siehe Abschnitt 5). Insbesondere zeigen unsere empirischen Ergebnisse, dass die Belohnung von Agenten auf der Grundlage von Geschwindigkeit oder inkrementellen Positionsänderungen zu einer besseren Leistung führt als die Belohnung auf der Grundlage der absoluten Position. Denn wenn Belohnungen ausschließlich auf der Position basieren, kann der Agent die Belohnungsfunktion ausnutzen, indem er zunächst eine kleine Bewegung ausführt und dann stationär bleibt, da jede weitere Bewegung zu einer Kollisionsstrafe führen kann. In der Praxis beobachten wir dieses suboptimale Verhalten, bei dem die erlernte Richtlinie zu einer lokalen optimalen Lösung konvergiert und Kollisionen vermeidet, indem sie stationär bleibt. Im Gegensatz dazu zwingt die geschwindigkeitsbasierte Belohnung den Agenten dazu, kontinuierlich in Bewegung zu bleiben, um Belohnungen anzusammeln, wodurch das Risiko einer vorzeitigen Konvergenz zu einer unerwünschten stationären Politik verringert wird. Das Belohnungsdesign berücksichtigt sorgfältig wichtige Anforderungen der Fahraufgabe, wie z. B. die Glätte der Flugbahn, die in herkömmlichen Algorithmen für verstärkendes Lernen häufig ignoriert werden. Typischerweise enthalten diese Algorithmen einen Entropieterm in ihrer Verlustfunktion oder Wertschätzung, um die Erkundung zu fördern und vorzeitige Konvergenz zu verhindern. Im Kontext des autonomen Fahrens kann dieser Entropieterm jedoch einen Anreiz für das Fahrzeug darstellen, einer Zick-Zack-Trajektorie zu folgen, da eine solche unregelmäßige Bewegung im Vergleich zu einem glatteren Pfad zu einer höheren Entropiebelohnung führt, selbst wenn beide Trajektorien ähnliche Ziele erreichen . Um diesem Effekt entgegenzuwirken, wird hier ein speziell entwickelter Strafterm eingeführt, um Bewegungen senkrecht zur Zielrichtung zu blockieren. Aus diesem Grund haben wir eine Belohnungsfunktion entwickelt, die den Zielfortschritt und die Glätte der Flugbahn effektiv ausgleicht, mit der folgenden Struktur:

Schnittstelle und Verwendung: Alle integrierten Aufgaben in CarDreamer übernehmen eine einheitliche Fitnessstudio-Schnittstelle, sodass Algorithmen zur Verstärkung des Lernens dies ermöglichen ohne zusätzliche Anpassungen direkt trainiert und getestet werden. Neben der sofort einsatzbereiten Nutzung unterstützt CarDreamer eine Vielzahl von Algorithmen, darunter Kurslernalgorithmen, die den schrittweisen Übergang von einfachen zu komplexen Aufgaben nutzen, und kontinuierliche Lernalgorithmen, die das Problem des katastrophalen Vergessens beim Lernen angehen sollen neue Aufgaben. Darüber hinaus vereinfacht CarDreamer für das Nachahmungslernen den Prozess der Erfassung von Beobachtungsdaten im Simulator. Obwohl die Gym-Schnittstelle ursprünglich für WM-basierte Reinforcement-Learning-Algorithmen entwickelt wurde, ermöglicht sie ihren weit verbreiteten Einsatz in einer Vielzahl von Algorithmusstrategien.

1) Mission Development Kit

Für Benutzer, die individuelle Missionen benötigen, bietet CarDreamer ein hochmodulares Mission Development Kit. Diese Suite kann den unterschiedlichen Anforderungen von Benutzern mit unterschiedlichem Anpassungsbedarf gerecht werden. Das erste Modul ist der „World Manager“, der grundlegende Bedürfnisse wie die Änderung der Fahrszene durch verschiedene Karten, Routen, Spawn-Standorte oder Hintergrundverkehrsströme erfüllt. Der Weltmanager ist für die Verwaltung von „Akteuren“ verantwortlich, ein von CARLA entlehnter Begriff, der alle Einheiten wie Fahrzeuge, Fußgänger, Ampeln und Sensoren umfasst. Es stellt API-Aufrufe bereit, um verschiedene Akteure zu erzeugen, insbesondere Fahrzeuge an verschiedenen Standorten mit Standard- oder benutzerdefinierten Blaupausen. Diese Fahrzeuge können von Benutzern oder per Autopilot gesteuert werden, einem selbstfahrenden Algorithmus, der auf einfachen Regeln basiert. Beim Zurücksetzen wird die Ressource transparent zerstört und freigegeben. Das zweite Modul ist „Observer“, das automatisch Beobachtungsdaten in verschiedenen Modi sammelt. Während es Benutzern den einfachen Zugriff auf vordefinierte Beobachtungsmuster ohne manuelle Interaktion ermöglicht, unterstützt es auch eine umfassende Anpassung der Datenspezifikationen. Dies wird durch eine Reihe von Datenprozessoren erreicht, die jeweils Daten für einen bestimmten Modus bereitstellen, beispielsweise RGB-Kameraprozessoren und BEV-Prozessoren. Jeder Datenprozessor ist hochgradig modular aufgebaut und verwaltet unabhängig den gesamten Lebenszyklus eines bestimmten Datentyps. Benutzer können den Beobachter erweitern, indem sie einen neuen Datenprozessor registrieren, der ihren Anforderungen entspricht.

Das dritte Modul enthält Routenplaner, die unterschiedliche Missionsroutenanforderungen erfüllen können. CarDreamer umfasst mehrere Planer: einen stochastischen Planer zum Erkunden der Karte; einen festen Pfadplaner zum Erstellen von Wegpunkten, die benutzerdefinierte Orte verbinden, und einen festen Endpunktplaner, der den klassischen A*-Algorithmus verwendet, um eine Route vom aktuellen Standort zum angegebenen zu generieren; Endpunkt. Um zusätzliche Anpassungsanforderungen zu erfüllen, wird auch eine Basisklasse bereitgestellt, und Benutzer können ihre eigenen Planer entwickeln, indem sie die Methoden init_route() und extend_route() überschreiben (die die Routeninitialisierung bzw. -verlängerung für jeden Zeitschritt definieren). Darüber hinaus umfasst die Suite einen Visualisierungsserver, der die Ausgabe des Observers und andere aus der Umgebung zurückgemeldete Statistiken nahtlos integriert und über einen HTTP-Server anzeigt. Diese Automatisierung ermöglicht ein schnelles Feedback, um den Belohnungs-Engineering- und Algorithmus-Entwicklungsprozess ohne zusätzlichen Programmieraufwand zu verbessern.

2) Weltmodell-Backbone

Das Weltmodell-Backbone-Framework in CarDreamer integriert nahtlos die fortschrittlichsten Methoden, einschließlich DreamerV2, DreamerV3 und Planning2Explore usw., und fördert so die schnelle Reproduktion dieser Modelle. Diese Backbone-Architektur ist sorgfältig darauf ausgelegt, die Weltmodellimplementierung von aufgabenspezifischen Komponenten zu entkoppeln und so die Modularität und Skalierbarkeit zu erhöhen. Die Kommunikation zwischen diesen Komponenten wird effizient über Standardschnittstellen für Fitnessstudios verwaltet, was eine umfassende Anpassung ermöglicht. Diese Entkopplung ermöglicht es Benutzern, das Standard-Weltmodell einfach durch ihre eigene Implementierung zu ersetzen, was schnelles Prototyping, Benchmarking und vergleichende Analysen mit etablierten Benchmarks ermöglicht. CarDreamer bietet daher eine umfassende Testplattform für weltmodellbasierte Algorithmen und fördert so ein Ökosystem für beschleunigte Forschung und Entwicklung in diesem Bereich. Die Plattform ermutigt Benutzer, innovative Architekturen, Verlustfunktionen und Trainingsstrategien innerhalb eines konsistenten und standardisierten Bewertungsrahmens zu erkunden, der aus verschiedenen Fahraufgaben und Leistungsmetriken besteht.

CarDreamer-Missionsexperiment

Ein kleines DreamerV3-Modell (dargestellt in Abbildung 4), das nur 18 Millionen Parameter enthält, wird als Modellrückgrat verwendet. Dieses kleine DreamerV3-Modell verfügt über 32 CNN-Multiplikatoren, 512 GRU- und MLP-Einheiten, und das MLP verfügt nur über zwei Schichten in seinem RSSM. Der geringe Speicheraufwand beträgt etwa 10 GB, sodass wir auf einer einzelnen NVIDIA 4090-GPU trainieren können, während wir den CARLA-Simulator ausführen. Schulen Sie den Agenten für jede Aufgabe.

Die Änderung der Belohnungskurve mit dem Zeitschritt ist in Abbildung 2 dargestellt.

Einfache Aufgaben mit geringem Verkehrsaufkommen, wie „Einfaches Rechtsabbiegen“ und „Spurzusammenführen“, konvergieren normalerweise innerhalb von 50.000 Schritten (~1 Stunde), während dichtere, aggressivere Verkehrsströme dichtere, aggressivere Verkehrsströme erfordern müssen vermieden werden. Bei Kollisionsaufgaben dauert die Konvergenz etwa 150.000 bis 200.000 Schritte (etwa 3 bis 4 Stunden). Bei der Bewertung haben wir mehrere Metriken übernommen, um die Leistung des autonomen Fahragenten, der die CarDreamer-Aufgabe ausführt, genau zu bewerten, wie in Tabelle 1 detailliert beschrieben. Zu diesen Kennzahlen gehören:

• Erfolgsquote: Diese Kennzahl misst den Prozentsatz eines Agentenfahrzeugs, das seine Mission erfolgreich abschließt (ein Ziel erreichen oder eine vorgegebene Strecke zurücklegen, ohne einen Unfall zu erleiden oder von der Fahrspur abzuweichen).

• Durchschnittliche Distanz (Meter): Stellt die durchschnittliche Distanz dar, die das Agentenfahrzeug über alle Episoden zurückgelegt hat, bevor die Episode endet (entweder durch Abschluss der Aufgabe oder aufgrund eines Fehlers, wie einer Kollision oder einer Zeitüberschreitung).

• Kollisionsrate (%): Berechnen Sie den Prozentsatz der Episoden, in denen das Agentenfahrzeug kollidiert.

• Durchschnittsgeschwindigkeit (m/s): Misst die Durchschnittsgeschwindigkeit, die das Agentenfahrzeug während der gesamten Mission einhält. Diese Kennzahl spiegelt die Fähigkeit eines Fahrzeugs wider, Geschwindigkeit und Sicherheit in Einklang zu bringen, und gibt an, wie effizient es sich in seiner Umgebung bewegen kann.

• Wegpunktentfernung: Diese Metrik quantifiziert die durchschnittliche Abweichung von den gewünschten Routenwegpunkten. Es bewertet die Fähigkeit eines Fahrzeugs, einem geplanten Weg zu folgen, und spiegelt seine Navigationsgenauigkeit und -präzision beim Verfolgen einer bestimmten Flugbahn wider.

1) Vorhersagen unter verschiedenen Beobachtungsmodalitäten

Die Vorstellungskraft des Weltmodells (WM) ermöglicht es, zukünftige Szenarien effektiv vorherzusagen und potenzielle Ereignisse zu verwalten. Um die Vorstellungskraft von WM unter verschiedenen Beobachtungsmodalitäten zu bewerten, führten wir Experimente zur Aufgabe „Rechtsabbiegen“ durch. Es wurden drei verschiedene Modalitäten ausgewählt: Vogelperspektive (BEV), Kamera und Lidar (LiDAR). Für jede Modalität muss sich WM die Beobachtungsergebnisse mehrerer Schritte in der Zukunft unter einem bestimmten Ausgangszustand und einer Reihe von Aktionen vorstellen. Abbildung 4 zeigt die Ergebnisse und vergleicht die Unterschiede zwischen realen Bildern und imaginären Bildern in den drei Modalitäten. Die erste Reihe zeigt das reale Beobachtungsbild, die zweite Reihe ist das Ergebnis der Fantasie von WM und die dritte Reihe ist der Unterschied zwischen ihnen. Wir haben Frames ausgewählt, die höchstens 64 Zeitschritte innerhalb des imaginären Bereichs lagen. Diese Ergebnisse legen nahe, dass WM trotz der unterschiedlichen Modalitäten immer noch hervorragend darin ist, die Zukunft genau vorherzusagen. Im BEV-Experiment (a) hat WM die Position und Flugbahn von geradeaus und rechts abbiegenden Fahrzeugen sowie die Rotation und Translation des BEV relativ zum Ego-Fahrzeug genau vorhergesagt. In ähnlicher Weise konnte WM in einer Kamera- und LiDAR-Umgebung auch Fahrzeuge, die vor dem eigenen Fahrzeug fahren, erfolgreich vorhersagen.

2) Vorteile der Car-to-Car-Kommunikation

Eine der einzigartigen Funktionen von CarDreamer ist seine Fähigkeit, den Grad der Kommunikation zwischen Fahrzeugen einfach anzupassen. Fahrzeuge können FOV-Ansichten (Field of View) teilen, was eine unterschiedliche Beobachtbarkeit ermöglicht. Darüber hinaus können sie zur besseren Planung sogar Absichten (dargestellt durch die geplanten Wegpunkte des Fahrzeugs) teilen. Wir nutzen diese Funktion, um die Wirkung der Kommunikation zu bewerten. Auf einem Agenten wurde es unter verschiedenen Einstellungen der Aufgabe „Rechtsabbiegen schwierig“ trainiert und getestet, d. h. unterschiedlicher Beobachtbarkeit und ob auf die Absicht anderer Fahrzeuge zugegriffen werden kann. Die Aufgabe „Hard Right Turn“ eignet sich besonders zum Testen der Beobachtbarkeit und Absichtskommunikation aufgrund des dichten Verkehrs und der häufigen möglichen Kollisionen mit Fahrzeugen außerhalb des Sichtfelds. Die Belohnungskurve ist in Abbildung 5 dargestellt, und einige Leistungsindikatoren sind in Tabelle 2 aufgeführt. Beachten Sie, dass in unserer Belohnungsfunktion die erfolgreiche Ausführung einer Rechtskurve ungefähr durch eine Belohnung von mehr als 250 repräsentiert wird. Die Ergebnisse zeigen, dass eine eingeschränkte Beobachtbarkeit oder mangelnde Absichtsteilung Agenten daran hindert, Aufgaben zu erledigen. Die gleichmäßig abgetasteten Bilder aus einem Diagramm in Abbildung 6 liefern eine gute Erklärung: Der Agent verfolgt eine konservative und suboptimale Strategie und stoppt an Kreuzungen, um Kollisionen zu vermeiden. Beispielsweise stoppt der Agent in den ersten drei Zeilen von Abbildung 6 seine Bewegung, bevor er in den Verkehr einfließt. Im Gegensatz dazu ermöglichen vollständige Informationen dem Ego-Fahrzeug eine erfolgreiche Rechtskurve.

Das obige ist der detaillierte Inhalt vonDas Neueste von der University of California! CarDreamer: Eine umfassende und flexible Open-Source-Plattform für das Testen von autonomen Fahralgorithmen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!