Robot caché dans iPhone : basé sur l'architecture GPT-2, avec emoji tokenizer, développé par des anciens élèves du MIT

Des passionnés ont révélé le "secret" du Transformer d'Apple

Sous l'influence de la vague des grands modèles, même le conservateur Apple mentionnera certainement "Transformer" à chaque conférence de presse

Par exemple, cette année à la WWDC, Apple a annoncé que les nouvelles versions d'iOS et de macOS auront des modèles de langage Transformer intégrés pour fournir des méthodes de saisie avec des capacités de prédiction de texte.

Bien que les responsables d'Apple n'aient pas révélé plus d'informations, les passionnés de technologie ne peuvent pas attendre

Un gars nommé Jack Cook a ouvert avec succès un nouveau chapitre de la version bêta de macOS Sonoma et a découvert de manière inattendue beaucoup de nouvelles informations

• En termes de modèle architecture, Cook estime que le modèle linguistique d'Apple est plus susceptible d'être basé sur GPT-2.
• En termes de tokenizer, emoticon est très important parmi eux.

Pour plus de détails, jetons un oeil.

Basé sur l'architecture GPT-2

Tout d'abord, passons en revue les fonctions que le modèle de langage basé sur Transformer d'Apple peut réaliser sur iPhone, MacBook et autres appareils

Le contenu qui doit être réécrit est : principalement reflété dans le méthode de saisie. Avec la prise en charge du modèle de langage, la propre méthode de saisie d'Apple peut réaliser des fonctions de prédiction de mots et de correction d'erreurs

Jack Cook l'a testé spécifiquement et a constaté que cette fonction implémente principalement la prédiction de mots simples.

Le contenu qui doit être réécrit est : △Source : article de blog de Jack Cook

Le modèle prédit parfois plusieurs mots à venir, mais cela se limite aux situations où la sémantique de la phrase est très évidente, plus proche de Fonctionnalité de saisie semi-automatique de Gmail.

Le contenu qui doit être réécrit est : △Source : article du blog de Jack Cook

Alors, où est installé ce modèle ? Après quelques recherches approfondies, frère Cook a déterminé :

J'ai trouvé le modèle de texte prédictif dans /System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle.

La raison est la suivante :

De nombreux fichiers dans unilm.bundle n'existent pas dans macOS Ventura (13.5), mais n'apparaissent que dans la nouvelle version de macOS Sonoma bêta (14.0).
1. Il existe un fichier sp.dat dans unilm.bundle, qui peut être trouvé dans les versions bêta de Ventura et de Sonoma, mais la version bêta de Sonoma a été mise à jour avec un ensemble de jetons qui ressemblent évidemment à un tokenizer.
2. Le nombre de jetons dans sp.dat peut correspondre aux deux fichiers dans unilm.bundle - unilm_joint_cpu.espresso.shape et unilm_joint_ane.espresso.shape. Ces deux fichiers décrivent la forme de chaque couche dans le modèle Espresso/CoreML.

Autres spéculations, selon la structure du réseau décrite dans unilm_joint_cpu, je pense que le modèle Apple est construit sur la base de l'architecture GPT-2

Les principaux composants incluent l'intégration de jetons, l'encodage de position, le bloc décodeur et la couche de sortie, dans chaque Des mots similaires à "gpt2_transformer_layer_3d" apparaîtront dans chaque bloc de décodeur

Le contenu qui doit être réécrit est : △Source : article du blog de Jack Cook

En fonction de la taille de chaque couche, j'ai également supposé que le modèle Apple représente environ 34 millions de paramètres, la taille de la couche cachée est de 512. En d'autres termes, il est plus petit que la plus petite version de GPT-2

Mon frère pense que c'est principalement parce qu'Apple veut un modèle qui ne consomme pas trop d'énergie, mais qui puisse fonctionner rapidement et fréquemment en même temps.

Et la déclaration officielle d’Apple à la WWDC est la suivante : « Chaque fois que vous cliquez sur une touche, l’iPhone exécutera le modèle une fois. »

Cependant, cela signifie également que ce modèle de prédiction de texte ne peut pas bien continuer les phrases ou les paragraphes

Le contenu qui doit être réécrit est : △Source : article de blog de Jack Cook

En plus de l'architecture du modèle, Cook Xiao J'ai également déterré des informations sur le tokenizer

.

Il a trouvé un ensemble de 15 000 jetons dans unilm.bundle/sp.dat. Il convient de noter qu'il contient 100 emoji.

Cook révèle Cook

Bien que ce Cook ne soit pas ce Cook, mon article de blog a quand même attiré beaucoup d'attention dès sa publication

Sur la base de ses découvertes, les internautes ont discuté avec enthousiasme de l'expérience utilisateur et des avancées d'Apple applications technologiques.

Retour à Jack Cook lui-même. Il est diplômé du MIT avec un baccalauréat et une maîtrise en informatique, et étudie actuellement pour une maîtrise en sciences sociales de l'Internet à l'Université d'Oxford.

Il a précédemment effectué un stage chez NVIDIA, se concentrant sur la recherche de modèles de langage tels que BERT. Il est également ingénieur R&D senior pour le traitement du langage naturel au New York Times

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!