深度学习中Attention与全连接层的区别何在？

Attention 的最终输出可以看成是一个「在关注部分权重更大的全连接层」，注意力机制可以利用输入特征信息来确定哪些部分更重要。

全连接的作用是对一个实体进行从一个特征空间到另一个特征空间的映射，注意力机制是要对来自同一个特征空间的多个实体进行整合

全连接层权重固定，存在位置依赖(空间和通道)

• 注意力机制引入score函数，使得权重与输入相关

不同的注意力机制是通过相似性的衡量为不同位置加以权重

• [[SENET]]

• [[PSANet]] 空间注意力或点注意力

• [[BAM]] 空间+通道注意力

• CBAM 空间+通道注意力

• PiCANet

Rulcy

• 两种机制的区别？

  • 同样是给予输入特征不同的权重进行更深层的网络学习，fc Layer只能是在整个网络的训练过程中得到，而基于Attention机制的Layer可以通过更多的方式去获得权重。

  • Attention Layer目的在于关注局部信息，所以输出和输入是在同一个向量空间的。这一点同样表现在Attention Layer和fc Layer的连接方式上。

• 为什么 Attention 机制能起到作用？

  • 给予网络输入部分一个更好的超参数

  • 传统的网络同样能够做到关注输入特征的局部信息，而Attention把关注局部信息这一重要部分单独进行设计，减少了整个网络的压力，使网络无需在输入特征的重要程度上下功夫，相对来说更多地关注了特征与结果的联系。