OpenAI est open source : l'outil de débogage automatique de Transformer est en ligne sur GitHub

OpenAI, qui a souvent été critiqué ces derniers temps pour ne pas être assez open source, l'a soudainement ouvert.

Tôt ce matin, Jan Leike, chercheur en apprentissage automatique à OpenAI, a annoncé qu'OpenAI avait ouvert ses propres outils internes qui ont été utilisés pour analyser la structure interne de Transformer.

Lien GitHub : https://github.com/openai/transformer-debugger

Le projet n'est ouvert que depuis quelques heures Bien qu'il n'ait pas été beaucoup médiatisé, le nombre d'étoiles. a augmenté assez rapidement.

Introduction à Transformer Debugger

Transformer Debugger (TDB) est un outil développé par l'équipe d'alignement d'OpenAI (Superalignment) pour aider les utilisateurs à vérifier le comportement spécifique des petits modèles de langage. Il est entendu que l'outil combine les caractéristiques de la technologie d'interprétabilité automatique et des auto-encodeurs clairsemés.

Plus précisément, TDB permet une exploration rapide avant que le code ne doive être écrit et peut intervenir dans la passe avant pour aider à voir comment cela affecte un comportement spécifique du modèle. TDB peut être utilisé pour répondre à des questions telles que « Pourquoi le modèle génère-t-il le jeton A au lieu du jeton B dans cette invite (invite) ? » ou « Pourquoi la tête d'attention H se concentre-t-elle sur le jeton T dans cette invite ? » Ces méthodes incluent l'identification de composants spécifiques qui contribuent au comportement (par exemple, les neurones, les têtes d'attention, les variables latentes de l'auto-encodeur), l'analyse des causes de l'activation la plus forte de ces composants en présentant des explications générées automatiquement et le traçage des connexions entre les composants, aidant ainsi les gens à découvrir les connexions et à les aider. dans le débogage de Transformer.

OpenAI a publié plusieurs vidéos décrivant les capacités de TDB et montrant comment l'utiliser pour effectuer le travail dans l'article "Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small" :

This À l'heure actuelle, le contenu open source d'OpenAI comprend :

Neuron viewer : une application React pour héberger TDB et contenant des informations sur divers composants du modèle (neurones MLP, têtes d'attention et latents d'encodeur automatique pour les deux) Page d'informations.

• Serveur d'activation : un serveur backend qui effectue des inférences sur des modèles de sujets et fournit des données pour TDB. Il lit et sert également les données des compartiments de stockage Azure publics.
• Modèles : Une bibliothèque d'inférence simple pour les modèles GPT-2 et leurs auto-encodeurs, avec des hooks pour capturer les activations.
• Ensembles de données d'activation nettoyés : exemples des principaux ensembles de données d'activation contenant des neurones MLP, des têtes d'attention et des latents d'auto-encodeur.
• Configuration de l'installation

Veuillez suivre les étapes ci-dessous pour installer le référentiel. Veuillez noter qu'avant cela, vous avez besoin de python/pip et de node/npm.

Bien que cela ne soit pas nécessaire, OpenAI recommande d'utiliser un environnement virtuel pour les opérations :

# If you're already in a venv, deactivate it.deactivate# Create a new venv.python -m venv ~/.virtualenvs/transformer-debugger# Activate the new venv.source ~/.virtualenvs/transformer-debugger/bin/activate

Après avoir configuré votre environnement, suivez ces étapes :

git clone git@github.com:openai/transformer-debugger.gitcd transformer-debugger# Install neuron_explainerpip install -e .# Set up the pre-commit hooks.pre-commit install# Install neuron_viewer.cd neuron_viewernpm installcd ..

Pour exécuter une application TDB, vous devez suivre les instructions pour configurer le backend du serveur d'activation et l'interface du visualiseur de neurones.

Pour vérifier les modifications, vous devez :

exécuter pytest ;

• exécuter mypy --cnotallow=mypy.ini
• exécuter le serveur d'activation et le visualiseur de neurones et confirmer TDB et neuron Basic ; des fonctionnalités telles que la page Meta Viewer sont toujours disponibles.
• Jan Leike a déclaré que TDB est encore un outil de recherche à ses débuts. OpenAI espère profiter à davantage de personnes grâce à l'open source et attend avec impatience que la communauté continue de s'améliorer sur cette base.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!