OpenAI ist Open Source: Das automatische Debug-Tool Transformer ist online auf GitHub

OpenAI, das in letzter Zeit oft dafür kritisiert wurde, nicht Open Source genug zu sein, hat es plötzlich geöffnet.

Heute früh gab der OpenAI-Forscher für maschinelles Lernen Jan Leike bekannt, dass OpenAI seine eigenen internen Tools geöffnet hat, die zur Analyse der internen Struktur von Transformer verwendet wurden.

GitHub-Link: https://github.com/openai/transformer-debugger

Das Projekt ist erst seit ein paar Stunden geöffnet, obwohl es nicht viel veröffentlicht wurde, die Anzahl der Sterne hat recht schnell zugenommen.

Einführung in Transformer Debugger

Transformer Debugger (TDB) ist ein vom Alignment-Team (Superalignment) von OpenAI entwickeltes Tool, mit dem Benutzer das spezifische Verhalten kleiner Sprachmodelle überprüfen können. Es versteht sich, dass das Tool die Eigenschaften der automatischen Interpretierbarkeitstechnologie und spärlicher Autoencoder kombiniert.

Konkret ermöglicht TDB eine schnelle Erkundung, bevor Code geschrieben werden muss, und kann in den Vorwärtsdurchlauf eingreifen, um zu erkennen, wie sich dies auf ein bestimmtes Verhalten des Modells auswirkt. TDB kann verwendet werden, um Fragen wie „Warum gibt das Modell in dieser Eingabeaufforderung Token A anstelle von Token B aus?“ oder „Warum konzentriert sich der Aufmerksamkeitskopf H in dieser Eingabeaufforderung auf Token T?“

Zu den Methoden gehören die Identifizierung spezifischer Komponenten, die zum Verhalten beitragen (z. B. Neuronen, Aufmerksamkeitsköpfe, latente Autoencoder-Variablen), die Analyse, was die stärkste Aktivierung dieser Komponenten verursacht, indem automatisch generierte Erklärungen präsentiert werden, und die Verfolgung von Verbindungen zwischen Komponenten, um so Menschen dabei zu helfen, Zusammenhänge zu entdecken und zu unterstützen beim Debuggen von Transformer.

OpenAI hat im Artikel „Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small“ mehrere Videos veröffentlicht, die die Fähigkeiten von TDB skizzieren und zeigen, wie man es zur Durchführung der Arbeit verwendet:

This Zu den Open-Source-Inhalten von OpenAI gehören:

• Neuron Viewer: eine React-Anwendung zum Hosten von TDB und mit Informationen zu verschiedenen Modellkomponenten (MLP-Neuronen, Aufmerksamkeitsköpfen und Autoencoder-Latenten für beide). Informationsseite.
• Aktivierungsserver: Ein Backend-Server, der Rückschlüsse auf Themenmodelle durchführt und Daten für TDB bereitstellt. Außerdem werden Daten aus öffentlichen Azure-Speicher-Buckets gelesen und bereitgestellt.
• Modelle: Eine einfache Inferenzbibliothek für GPT-2-Modelle und ihre Autoencoder mit Hooks zum Erfassen von Aktivierungen.
• Bereinigte Aktivierungsdatensätze: Beispiele für Top-Aktivierungsdatensätze, die MLP-Neuronen, Aufmerksamkeitsköpfe und Autoencoder-Latents enthalten.

Installations-Setup

Bitte befolgen Sie die folgenden Schritte, um das Repository zu installieren. Bitte beachten Sie, dass Sie zuvor python/pip und node/npm benötigen.

Obwohl es nicht notwendig ist, empfiehlt OpenAI die Verwendung einer virtuellen Umgebung für den Betrieb:

# If you're already in a venv, deactivate it.deactivate# Create a new venv.python -m venv ~/.virtualenvs/transformer-debugger# Activate the new venv.source ~/.virtualenvs/transformer-debugger/bin/activate

Befolgen Sie nach dem Einrichten Ihrer Umgebung diese Schritte:

git clone git@github.com:openai/transformer-debugger.gitcd transformer-debugger# Install neuron_explainerpip install -e .# Set up the pre-commit hooks.pre-commit install# Install neuron_viewer.cd neuron_viewernpm installcd ..

Um eine TDB-Anwendung auszuführen, müssen Sie Folgen die Anweisungen zum Einrichten des Aktivierungsserver-Backends und des Neuron Viewer-Frontends.

Um die Änderungen zu überprüfen, müssen Sie:

• pytest ausführen;
• mypy --cnotallow=mypy.ini ausführen;
• den Aktivierungsserver und den Neuron Basic ausführen Funktionen wie die Meta-Viewer-Seite sind weiterhin verfügbar.

Jan Leike sagte, dass TDB noch ein Forschungstool im Anfangsstadium ist, das hofft, mehr Menschen durch Open Source zu nutzen, und freut sich darauf, dass sich die Community auf dieser Basis weiter verbessert.

Das obige ist der detaillierte Inhalt vonOpenAI ist Open Source: Das automatische Debug-Tool Transformer ist online auf GitHub. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!