Positionseinbettungen in Transformatoren verstehen: Von absolut bis rotierend

Ein tiefer Einblick in absolute, relative und rotatorische Positionseinbettungen mit Codebeispielen

Grundlegendes zu Positionseinbettungen in Transformern: Von absolut zu rotatorisch

Ein tiefer Einblick in absolute, relative und rotatorische Positionseinbettungen mit Codebeispielen

Mina Ghashami

Folgen

Auf dem Weg zur Datenwissenschaft

--

Teilen

Eine der Schlüsselkomponenten von Transformatoren sind Positionseinbettungen. Sie fragen sich vielleicht: Warum? Weil der Selbstaufmerksamkeitsmechanismus in Transformatoren permutationsinvariant ist; Das heißt, es berechnet die Menge an „Aufmerksamkeit“, die jedes Token in der Eingabe von anderen Token in der Sequenz erhält, berücksichtigt jedoch nicht die Reihenfolge der Token. Tatsächlich behandelt der Aufmerksamkeitsmechanismus die Sequenz als eine Tüte mit Token. Aus diesem Grund benötigen wir eine weitere Komponente namens Positionseinbettung, die die Reihenfolge der Token berücksichtigt und die Token-Einbettungen beeinflusst. Aber was sind die verschiedenen Arten von Positionseinbettungen und wie werden sie implementiert?

In diesem Beitrag werfen wir einen Blick auf drei Haupttypen von Positionseinbettungen und gehen eingehend auf ihre Implementierung ein.

Hier ist das Inhaltsverzeichnis für diesen Beitrag :

1. Kontext und Hintergrund

2. Absolute Positionseinbettung

Das obige ist der detaillierte Inhalt vonPositionseinbettungen in Transformatoren verstehen: Von absolut bis rotierend. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!