Le LLM deviendra-t-il une histoire ? L'open source bGPT peut renverser le paradigme de l'apprentissage profond : simulez directement le binaire, ouvrant ainsi une nouvelle ère du monde numérique analogique !

Dernière réalisation bGPT lancée par Microsoft Research Asia, ce modèle Transformer basé sur les octets nous ouvre une nouvelle porte pour explorer le monde numérique.

Contrairement aux modèles linguistiques traditionnels basés sur le vocabulaire, bGPT est unique en ce sens qu'il peut traiter directement des données binaires brutes sans être limité par des formats ou des tâches spécifiques. Son objectif est de simuler pleinement le monde numérique, ouvrant ainsi de nouvelles possibilités de développement de modèles.

Papier : https://www.php.cn/link/ee88b3cea2051be97bcddf2e0d9a28f6

Code : https://www.php .cn/link/359499f804ea7988921bf86c9377fb95

Modèle : https://www.php.cn/link/4b459ea1a5917be436df5f0bd5b3c4ad

Page d'accueil du projet : https://www.php.cn/link/71af596 14c 8b42af334933e9261e53be

Dans leur document de recherche, l’équipe de recherche a démontré l’énorme potentiel du bGPT pour la modélisation. En effectuant un traitement au niveau des octets, bGPT peut non seulement générer du texte, des images et du son, mais également simuler le comportement de l'ordinateur, notamment des algorithmes de conversion de format et la modélisation des états du processeur. Cette approche consistant à traiter toutes les données comme une séquence d'octets permet à bGPT d'intégrer différents types de données dans le même cadre.

Une fois publié, l'article de bGPT a suscité un large débat sur X (Twitter), soulignant les changements potentiels dans les modèles d'apprentissage profond et ouvrant de nouvelles possibilités aux modèles pour véritablement comprendre et simuler diverses activités dans le monde numérique.

Données binaires : l'ADN de base qui constitue le monde numérique

Les données binaires sont la pierre angulaire du monde numérique. Elles traversent les processeurs informatiques et les systèmes d'exploitation des produits électroniques que nous utilisons quotidiennement, et en sont le cœur. données, appareils et logiciels. Par conséquent, sur la base de cette base, l’objectif de bGPT est de comprendre la logique interne des systèmes numériques en étudiant des séquences de données binaires, remodelant et simulant ainsi divers phénomènes numériques complexes.

bGPT peut non seulement être appliqué aux tâches conventionnelles de génération et de compréhension d'IA via un traitement au niveau des octets, mais peut également gérer des applications plus non traditionnelles. Par exemple, il peut simuler directement le MIDI – un format standard pour la transmission et le stockage de musique, dont les recherches antérieures ont évité la modélisation directe en raison de la nature binaire du MIDI.

Mais bGPT est naturellement adapté à de telles tâches et peut simuler avec précision l'algorithme de conversion des données musicales, atteignant un taux d'erreur extrêmement faible (0,0011 BPB) lors de la conversion de la notation ABC au format MIDI.

Dans les applications pratiques, bGPT est généralement capable d'effectuer avec précision la conversion entre les symboles ABC et les fichiers MIDI, et peut parfois même corriger les erreurs dans les fichiers originaux pour rendre la conversion musicale plus précise.

bGPT convertit automatiquement la notation ABC au format MIDI (ci-dessus). La comparaison avec les données MIDI originales (ci-dessous) met en évidence la différence clé : bien qu'il manque un battement aux données MIDI originales (voir l'image ci-dessous). ), provoquant la déconnexion de l'accompagnement d'accords, mais le résultat converti par bGPT (voir l'image ci-dessus) comble correctement cette lacune, garantissant la douceur de l'accompagnement d'accords.

L'équipe de recherche considère également la modélisation du processeur comme une tâche représentative de la simulation du comportement du matériel : cette tâche nécessite que le modèle reçoive une séquence d'instructions machine de bas niveau en entrée, et son objectif est de prédire avec précision l'état du processeur. mis à jour après l'exécution de chaque instruction jusqu'à l'arrêt du programme.

Dans cette tâche, bGPT a démontré une précision de plus de 99,99 %, démontrant la puissance et l'évolutivité du modèle d'octets dans le traitement des données binaires natives.

Compte tenu du programme et de l'état initial du processeur, bGPT est capable de prédire avec précision le processus complet d'exécution du processeur jusqu'à la fin du programme. Dans cet exemple, bGPT gère toutes les instructions du processeur avec précision. Pour faciliter la compréhension, la séquence d'octets réelle est convertie dans un format plus lisible.

Des octets à tout : dépasser les frontières et évoluer vers une modélisation de données unifiée

bGPT peut non seulement traiter des données binaires natives, mais également intégrer plusieurs types de données dans une architecture de modèle unifiée, traitant toutes les données comme une séquence d'octets.

Cette approche simplifie non seulement le processus de modélisation des données, mais facilite également l'intégration à partir de n'importe quelle source de données sans avoir besoin de personnaliser les modèles pour des types de données spécifiques.

L'équipe de recherche a donné des exemples de fichiers texte, image et audio traditionnels dans l'article, démontrant les capacités de bGPT en matière de modélisation de données unifiée. Le modèle bGPT qu’ils ont formé comporte environ 100 millions de paramètres.

Les résultats expérimentaux montrent qu'en comparaison avec des modèles de même taille que GPT-2 (modèle texte), ViT (modèle visuel) et AST (modèle audio), bGPT montre des performances comparables sur différents types de données.

bGPT fonctionne très bien dans la génération de texte. Grâce à son codage de texte au niveau octet, le modèle ne s'appuie pas sur le vocabulaire et peut donc prendre en charge toutes les langues.

Son architecture Transformer en couches, bien que la charge de calcul soit similaire à celle de GPT-2, peut générer du texte jusqu'à 8 Ko, ce qui dépasse largement la limite de longueur de GPT-2. Après une pré-formation sur les données Wikipédia, le texte généré par bGPT est comparable à GPT-2 en termes de style et de sujet, prouvant sa puissante capacité de génération de texte.

bGPT est pré-entraîné sur l'ensemble de données Wikipédia, et la qualité et la cohérence thématique des échantillons de texte générés sont comparables à GPT-2.

bGPT peut générer des images en prédisant l'octet suivant dans une séquence d'octets d'image. Le modèle est pré-entraîné sur l'ensemble de données ImageNet et les images générées ont une résolution de 32 x 32 pixels.

Bien qu'il soit difficile de capturer avec précision la relation spatiale bidimensionnelle des images à travers des séquences d'octets à l'échelle actuelle, ce qui entraîne des artefacts et du bruit dans les images générées, la texture et les effets de lumière et d'ombre sont généralement relativement précis.

De plus, ces images générées peuvent être décodées normalement en fichiers BMP. L'équipe de recherche a souligné qu'en élargissant l'échelle du bGPT, similaire à la méthode de modélisation de séquences de pixels d'iGPT développée par OpenAI, il pourrait être possible d'obtenir une génération d'images de meilleure qualité et plus réaliste.

Il s'agit d'un ensemble d'images générées par bGPT pré-entraînées sur l'ensemble de données ImageNet. Bien que la texture et les effets d’éclairage des images soient généralement précis, l’identification des principaux objets dans ces images générées peut s’avérer difficile.

bGPT traite les données audio comme une séquence d'octets et peut générer des échantillons audio d'une seconde avec un taux d'échantillonnage de 8 000 Hz.

Le modèle a été pré-entraîné sur l'ensemble de données LibriSpeech, puis affiné et démontré sur l'ensemble de données Speech Commands v2. Les échantillons audio générés par bGPT maintiennent un haut niveau de précision, certains échantillons étant presque impossibles à distinguer de l'audio réel. Ce qui suit est un ensemble d'exemples démontrant les capacités de bGPT dans le domaine de la génération audio.

Explorez le monde numérique des octets avec bGPT

Les modèles de langage traditionnels, aussi puissants soient-ils, se concentrent principalement sur le traitement du texte en langage naturel. Le modèle bGPT brise les limitations du traitement de texte grâce à un mécanisme de traitement basé sur les octets et ouvre une nouvelle catégorie de traitement de données.

Cette avancée donne à bGPT la capacité de traiter de manière transparente divers types de données, notamment le texte, les images, l'audio et même les données binaires natives provenant d'algorithmes et de matériel, ouvrant la voie à une simulation et une compréhension complètes du monde numérique.

Bien que bGPT ait démontré des capacités convaincantes, il présente des limites en termes de surcharge de calcul, par exemple en ne pouvant actuellement traiter que des séquences d'octets allant jusqu'à 8 Ko sur des cartes graphiques conventionnelles. données, En termes d’application, cela constitue des limites évidentes. Les plans de travail futurs se concentreront sur le développement d’algorithmes plus efficaces et sur l’exploitation des avancées matérielles, dans le but d’améliorer la capacité à traiter des séquences de données plus volumineuses.

Les passionnés de technologie du monde entier ont commencé à se réjouir du potentiel futur du bGPT, de l'optimisation de l'élagage des réseaux et de l'auto-apprentissage aux capacités d'auto-reconfiguration des réseaux à très grande échelle. Ces discussions pointent vers un point commun. Vision : bGPT pourrait éventuellement réaliser un modèle unifié capable de traiter et de produire tous les types de données d'octets, devenant ainsi un véritable simulateur complet du monde numérique.

L'équipe de recherche a open source le code et le modèle de bGPT. Cela signifie que vous pouvez entraîner directement bGPT sur votre propre ensemble de données sans apporter aucun ajustement à l'architecture du modèle, et explorer les larges perspectives des modèles d'octets dans le domaine numérique.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!