了解 Transformer 中的位置嵌入：從絕對到旋轉

透過程式碼範例深入了解絕對、相對和旋轉位置嵌入

了解Transformers 中的位置嵌入：從絕對到旋轉

透過程式碼範例深入了解絕對、相對和旋轉位置嵌入

Mina Ghashami

走向資料科學

--

分享

變壓器的關鍵組件之一是位置嵌入。你可能會問：為什麼？因為 Transformer 中的 self-attention 機制是排列不變的；這意味著它計算輸入中的每個標記從序列中的其他標記接收到的「注意力」量，但它不考慮標記的順序。事實上，注意力機制將序列視為一袋令牌。因此，我們需要另一個稱為位置嵌入的元件，它負責標記的順序並影響標記嵌入。但是位置嵌入有哪些不同類型以及它們是如何實現的？

在這篇文章中，我們將了解三種主要類型的位置嵌入並深入研究它們的實現。

這是本文的目錄：

1。背景與背景

2.絕對位置嵌入

以上是了解 Transformer 中的位置嵌入：從絕對到旋轉的詳細內容。更多資訊請關注PHP中文網其他相關文章！