変圧器の位置埋め込みを理解する: 絶対値から回転まで

コード例を使用して、絶対、相対、および回転の位置エンベディングを詳しく説明します

トランスフォーマーの位置エンベディングを理解する: 絶対から回転まで

コード例を使用して、絶対、相対、および回転の位置エンベディングを詳しく説明します

mina Ghashami

フォロー

データサイエンスに向けて

--

シェア

トランスフォーマーの重要なコンポーネントの 1 つは、位置埋め込みです。 「なぜ？」と疑問に思うかもしれません。トランスフォーマーの自己注意メカニズムは順列不変であるためです。つまり、入力内の各トークンがシーケンス内の他のトークンから受け取る「注意」の量を計算しますが、トークンの順序は考慮されません。実際、アテンション メカニズムはシーケンスをトークンの袋として扱います。このため、トークンの順序を考慮し、トークンの埋め込みに影響を与える位置埋め込みと呼ばれる別のコンポーネントが必要です。しかし、さまざまなタイプの位置埋め込みとは何で、どのように実装されているのでしょうか?

この投稿では、3 つの主要なタイプの位置埋め込みを見て、その実装について詳しく説明します。

この投稿の目次は次のとおりです。 :

1.コンテキストと背景

2.絶対位置埋め込み

以上が変圧器の位置埋め込みを理解する: 絶対値から回転までの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。