Die Black Box wurde geöffnet! Transformer visuelles Erklärungstool, das abgespielt werden kann, GPT-2 lokal ausführt und auch Echtzeit-Schlussfolgerungen durchführen kann

Nous sommes en 2024, y a-t-il quelqu'un qui ne comprend toujours pas comment fonctionne Transformer ? Venez essayer cet outil interactif.

En 2017, Google a proposé Transformer dans l'article "L'attention est tout ce dont vous avez besoin", qui est devenu une avancée majeure dans le domaine de l'apprentissage profond. Le nombre de citations de cet article a atteint près de 130 000. Tous les modèles ultérieurs de la famille GPT sont également basés sur l'architecture Transformer, ce qui montre sa large influence.

En tant qu'architecture de réseau neuronal, Transformer est très populaire dans une variété de tâches allant du texte à la vision, en particulier dans le domaine actuellement brûlant des chatbots IA.

Cependant, pour de nombreux non-professionnels, le fonctionnement interne de Transformer est encore opaque, ce qui entrave leur compréhension et leur participation. Il est donc particulièrement nécessaire de démystifier cette architecture. Mais de nombreux blogs, didacticiels vidéo et visualisations 3D ont tendance à mettre l’accent sur la complexité mathématique et la mise en œuvre des modèles, ce qui peut prêter à confusion pour les débutants. Les efforts de visualisation également conçus pour les praticiens de l’IA se concentrent sur l’interprétabilité neuronale et hiérarchique et constituent un défi pour les non-experts.

Par conséquent, plusieurs chercheurs du Georgia Institute of Technology et d'IBM Research ont développé Un outil de visualisation interactif open source basé sur le Web "Transformer Explainer" pour aider les non-professionnels à comprendre la structure du modèle de haut niveau et les mathématiques de bas niveau de Fonctionnement du transformateur . Comme le montre la figure 1 ci-dessous.

Transformer Explainer explique le fonctionnement interne de Transformer via la génération de texte, à l'aide d'une Conception de visualisation de diagramme Sankey inspirée des travaux récents sur Transformer en tant que système dynamique, mettant l'accent sur la façon dont les données d'entrée circulent à travers les composants du modèle. À partir des résultats, le diagramme de Sankey illustre efficacement la manière dont les informations sont transmises à travers le modèle et montre comment les entrées sont traitées et transformées via les opérations Transformer.

En termes de contenu, Transformer Explainer intègre étroitement un aperçu du modèle qui résume la structure du Transformer et permet aux utilisateurs de passer en douceur entre plusieurs niveaux d'abstraction pour visualiser l'interaction entre les opérations mathématiques de bas niveau et la structure du modèle de haut niveau, pour les aider à comprendre pleinement les concepts complexes de Transformer.

Fonctionnellement, Transformer Explainer fournit non seulement une implémentation basée sur le Web, mais a également la fonction de raisonnement en temps réel. Contrairement à de nombreux outils existants qui nécessitent l'installation d'un logiciel personnalisé ou manquent de capacités d'inférence, il intègre un modèle GPT-2 en direct qui s'exécute de manière native dans le navigateur à l'aide d'un framework frontal moderne. Les utilisateurs peuvent expérimenter de manière interactive le texte saisi et observer en temps réel comment les composants et paramètres internes de Transformer fonctionnent ensemble pour prédire le prochain jeton.

Transformer Explainer étend l'accès aux technologies modernes d'IA générative sans nécessiter de ressources informatiques avancées, de compétences d'installation ou de programmation. GPT-2 a été choisi parce que le modèle est bien connu, a une vitesse d'inférence rapide et est architecturalement similaire à des modèles plus avancés tels que GPT-3 et GPT-4.

• Papieradresse: https://arxiv.org/pdf/2408.04619
• GitHub-Adresse: http://poloclub.github.io/transformer-explainer/
• Online-Erlebnisadresse: https:// t.co/jyBlJTMa7m

Da es Ihre eigenen Eingaben unterstützt, hat diese Seite auch „Was für ein schöner Tag“ ausprobiert und die Ergebnisse sind in der Abbildung unten dargestellt.

Für Transformer Explainer haben viele Internetnutzer großes Lob ausgesprochen. Manche Leute sagen, dass dies ein sehr cooles interaktives Tool ist.

Manche Leute sagen, dass sie auf ein intuitives Tool gewartet haben, um Selbstaufmerksamkeit und Positionskodierung zu erklären, nämlich Transformer Explainer. Es wird ein bahnbrechendes Werkzeug sein.

Jemand hat auch eine chinesische Übersetzung angefertigt.

ㅋㅋ 표시 주소: http://llm-viz-cn.iiiai.com/llm

대중과학계의 또 다른 위대한 인물인 카르파시(Karpathy)를 생각해 보십시오. 이전에는 "
Pure C 언어로 직접 만든 GPT-2, 전 OpenAI 및 Tesla 경영진의 새 프로젝트가 인기가 많습니다

", ​​"

Karpathy의 최신 4시간 비디오 튜토리얼: GPT-2를 처음부터 재현하고 밤새 실행하면 완료됩니다" 등 이제 Transformer의 내부 원리를 시각화하는 도구가 생겼으니, 둘을 함께 사용하면 학습 효과가 더 좋을 것 같습니다.

Transformer explainer 시스템 설계 및 구현

Transformer explainer는 Transformer 기반 GPT-2 모델이 텍스트 입력을 처리하고 다음 토큰을 예측하도록 훈련되는 방법을 시각적으로 보여줍니다. 프런트엔드는 Svelte와 D3를 사용하여 대화형 시각화를 구현하고, 백엔드는 ONNX 런타임과 HuggingFace의 Transformers 라이브러리를 사용하여 브라우저에서 GPT-2 모델을 실행합니다.

Transformer explainer를 디자인하는 과정에서 주요 과제는 기본 아키텍처의 복잡성을 관리하는 방법이었습니다. 모든 세부 사항을 동시에 표시하면 요점이 산만해지기 때문입니다. 이 문제를 해결하기 위해 연구자들은 두 가지 핵심 설계 원칙에 큰 관심을 기울였습니다.

먼저, 연구자들은 다단계 추상화를 통해 복잡성을 줄입니다. 그들은 다양한 추상화 수준에서 정보를 표시하기 위해 도구를 구성합니다. 이를 통해 사용자는 높은 수준의 개요부터 시작하여 필요에 따라 세부 사항까지 작업할 수 있으므로 정보 과부하가 방지됩니다. 가장 높은 수준에서 이 도구는 사용자가 제공한 텍스트를 입력으로 수신(그림 1A)하고, 이를 삽입하고, 여러 Transformer 블록을 통해 처리하고, 처리된 데이터를 사용하여 가장 가능성이 높은 다음 A 토큰 예측을 예측하는 전체 처리 흐름을 보여줍니다. 정렬됩니다.

계산 결과의 중요성을 시각적으로 표시하기 위해 기본적으로 축소되는 주의 매트릭스 계산(그림 1C)과 같은 중간 작업에서는 사용자가 애니메이션을 통해 파생 프로세스를 확장하고 볼 수 있습니다. 순서 . 연구원들은 사용자가 엔드투엔드 데이터 흐름을 유지하면서 아키텍처에서 반복되는 패턴을 식별할 수 있도록 주의 헤드 쌓기 및 반복되는 Transformer 블록 축소와 같은 일관된 시각적 언어를 채택했습니다.

둘째, 연구자들은 상호작용을 통해 이해와 참여를 강화합니다. 온도 매개변수는 다음 토큰 예측의 확실성(낮은 온도) 또는 무작위성(높은 온도)에 영향을 미치는 Transformer의 출력 확률 분포를 제어하는 ​​데 중요합니다. 그러나 Transformers에 대한 기존 교육 자료는 이러한 측면을 무시하는 경향이 있습니다. 이제 사용자는 이 새로운 도구를 사용하여 온도 매개변수를 실시간으로 조정하고(그림 1B) 예측 확실성을 제어하는 ​​데 있어 중요한 역할을 시각화할 수 있습니다(그림 2).

Darüber hinaus können Benutzer aus bereitgestellten Beispielen auswählen oder ihren eigenen Text eingeben (Abbildung 1A). Durch die Unterstützung von benutzerdefiniertem Eingabetext können Benutzer intensiver teilnehmen, indem sie das Verhalten des Modells unter verschiedenen Bedingungen analysieren und ihre eigenen Annahmen basierend auf verschiedenen Texteingaben interaktiv testen.

Was sind also die praktischen Anwendungsszenarien?

Professor Rousseau modernisiert den Kursinhalt seines Kurses zur Verarbeitung natürlicher Sprache, um die jüngsten Fortschritte in der generativen KI hervorzuheben. Sie bemerkte, dass einige Studenten Transformer-basierte Modelle als schwer fassbare „Magie“ betrachteten, während andere verstehen wollten, wie die Modelle funktionierten, aber nicht sicher waren, wo sie anfangen sollten.

Um dieses Problem zu lösen, führte sie die Schüler dazu, Transformer Explainer zu verwenden, der einen interaktiven Überblick über Transformer bietet (Abbildung 1) und die Schüler zum aktiven Experimentieren und Lernen ermutigt. Ihre Klasse umfasst mehr als 300 Schüler, und die Fähigkeit von Transformer Explainer, vollständig im Browser der Schüler zu laufen, ohne dass Software oder spezielle Hardware installiert werden muss, ist ein erheblicher Vorteil und beseitigt die Sorgen der Schüler über die Verwaltung der Software- oder Hardware-Einrichtung.

Dieses Tool führt Schüler durch animierte und interaktive reversible Abstraktionen in komplexe mathematische Operationen wie Aufmerksamkeitsberechnungen ein (Abbildung 1C). Dieser Ansatz hilft den Studierenden, sowohl ein umfassendes Verständnis der Abläufe als auch ein tiefes Verständnis der zugrunde liegenden Details zu erlangen, die zu diesen Ergebnissen führen.

Professor Rousseau ist sich auch darüber im Klaren, dass die technischen Fähigkeiten und Grenzen des Transformers manchmal personifiziert werden (z. B. wenn man den Temperaturparameter als „Kreativitäts“-Kontrolle betrachtet). Indem sie die Schüler dazu ermutigte, mit dem Temperaturschieberegler zu experimentieren (Abbildung 1B), zeigte sie den Schülern, wie die Temperatur tatsächlich die Wahrscheinlichkeitsverteilung des nächsten Tokens verändert (Abbildung 2) und so die Zufälligkeit von Vorhersagen auf deterministische und kreativere Weise kontrolliert und ein Gleichgewicht zwischen ihnen herstellt Ausgänge.

Wenn das System außerdem den Token-Verarbeitungsprozess visualisiert, können die Schüler erkennen, dass es hier keine sogenannte „Magie“ gibt – egal, was der Eingabetext ist (Abbildung 1A), das Modell folgt einem gut- Die definierte Abfolge von Vorgängen unter Verwendung der Transformer-Architektur tastet jeweils nur ein Token ab und wiederholt dann den Vorgang.

Zukunftsarbeit

Forscher verbessern interaktive Erklärungen von Werkzeugen, um das Lernerlebnis zu verbessern. Gleichzeitig verbessern sie die Inferenzgeschwindigkeit durch WebGPU und reduzieren die Modellgröße durch Komprimierungstechnologie. Sie planen außerdem, Benutzerstudien durchzuführen, um die Wirksamkeit und Benutzerfreundlichkeit von Transformer Explainer zu bewerten, zu beobachten, wie KI-Neulinge, Studenten, Pädagogen und Praktiker das Tool verwenden, und Feedback zu zusätzlichen Funktionen zu sammeln, die sie unterstützen möchten.

Worauf warten Sie? Probieren Sie es aus und durchbrechen Sie die „magische“ Fantasie über Transformer und verstehen Sie wirklich die Prinzipien dahinter.

Das obige ist der detaillierte Inhalt vonDie Black Box wurde geöffnet! Transformer visuelles Erklärungstool, das abgespielt werden kann, GPT-2 lokal ausführt und auch Echtzeit-Schlussfolgerungen durchführen kann. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!