@位置编码之路：SIN->RoPE->ALiBi->PI->NKT->YARN

链接： 位置编码之路：SIN->RoPE->ALiBi->PI->NKT->YARN - 知乎

想法

SIN [[Positional Encoding]]

• 图1-1：正弦位置编码形式的由来 #card
  

• 图1-2：正弦位置编码中θ的由来 #card
  

• 图1-3：正弦位置编码的特点+推导 #card
  

• 缺点 :-> sin位置编码表示相对位置关系时仍然比较间接。

[[ALiBi]]（基于线性偏差的注意力机制）

[[RoPE]]（旋转位置编码）

• 2021年，RoPE（Rotary Position Embedding）诞生，它借助了复数的思想，出发点是通过绝对位置编码的方式实现相对位置编码。

[[Position Interpolation]]

[[Neural Tangent Kernel]]

[[YARN]]

六种位置编码方法总结

occlusion:: eyIuLi9hc3NldHMvaW1hZ2VfMTc0NTE1OTk0NzQ0N18wLnBuZyI6eyJjb25maWciOnt9LCJlbGVtZW50cyI6W3sibGVmdCI6MjI3LjAzMzYwMTg2NTM5MDUyLCJ0b3AiOjM4My4xODY3MDEyODI3NjA3NCwid2lkdGgiOjM3MC4zNTQyMTQ1MDIxODY0NCwiaGVpZ2h0IjoxNTQuNjY2MjMxMDk5MjAzMywiYW5nbGUiOjAsImNJZCI6MX0seyJsZWZ0Ijo3NDYuMzExNDA1NjMxNTY5MiwidG9wIjoxMTYuNDYzODQyNTczNTY2NjIsIndpZHRoIjo0NTEuNjM0MjE5ODgxMTU5NzcsImhlaWdodCI6MTc1LjA0NzA0MTM0MDEzMjk1LCJhbmdsZSI6MCwiY0lkIjoyfSx7ImxlZnQiOjc0NC4wNjI3OTAwNDQyMTE0LCJ0b3AiOjYzNC41MTgyOTE1ODkxMDgsIndpZHRoIjo0NTYuMTMxNDUxMDU1ODc1MzUsImhlaWdodCI6MTY1LjA2Nzk1NzY2Mzk2NzI2LCJhbmdsZSI6MCwiY0lkIjozfSx7ImxlZnQiOjEzMDYuOTQ0NjM2ODI0MjMsInRvcCI6MzUyLjM1NjY0NjQxMzkxNTMsIndpZHRoIjo0NTYuODY5MDU4NTc5MjU5NywiaGVpZ2h0IjoxNjkuNjg0MDc2NTQ4MDM0MjMsImFuZ2xlIjowLCJjSWQiOjR9LHsibGVmdCI6MTMyMy4wNTk4NTQ1NjA0ODUsInRvcCI6NjM0Ljc1NzI5Mzg3NTcwMTksIndpZHRoIjo0NzEuMjk4NDQwMzExMzg4MywiaGVpZ2h0IjoxNjQuNTg5OTUzMDkwNzc5NTUsImFuZ2xlIjowLCJjSWQiOjV9LHsibGVmdCI6MTMwOS4zMDYxMDE4NzY2MDY2LCJ0b3AiOjk2MS41MDg5MTI1MzAxNjg1LCJ3aWR0aCI6NDY1LjQ3NzUwNDgxODY4ODY2LCJoZWlnaHQiOjE3Ny40MDQ3NzcwNTEyNzI3MywiYW5nbGUiOjAsImNJZCI6Nn1dfX0=