@位置编码之路：SIN->RoPE->ALiBi->PI->NKT->YARN

链接： 位置编码之路：SIN->RoPE->ALiBi->PI->NKT->YARN - 知乎

想法

SIN [[Positional Encoding]]

• 图1-1：正弦位置编码形式的由来 #card
  
• 图1-2：正弦位置编码中θ的由来 #card
  
• 图1-3：正弦位置编码的特点+推导 #card
  
• 缺点 → sin位置编码表示相对位置关系时仍然比较间接。

[[ALiBi]]（基于线性偏差的注意力机制）

[[RoPE]]（旋转位置编码）

• 2021年，RoPE（Rotary Position Embedding）诞生，它借助了复数的思想，出发点是通过绝对位置编码的方式实现相对位置编码。

[[Position Interpolation]]

[[Neural Tangent Kernel]]

[[YARN]]

六种位置编码方法总结

网络回响