Position Representation

[[Position Encoding]] 和 [[Position Embedding]] 区别

• 学习式，不可扩展
  • [[@Convolutional Sequence to Sequence Learning]]
• 固定式

分类

• absolute positions 绝对位置编码
• relative positions 相对位置编码
  • 关注一定范围内的相对次序关系

Position Representation 结果 Concat 和 Add 的区别

• ((acd49d32-d066-4cd3-b46c-711f3f3cecdf))
• concat 效果不会比 add 差，但是会增加参数量

Position Representation 信息到达上层之后为什么不好消失？#card

• [[ResNet]] 机制，模型输入特征会直接传递到上层
• 有一个 Transformer 版本每一个 encoder 输入都会加上 position embedding

网络回响