Contrastive Learning

一个完整的分类模型可以分为特征编码(Encoding)与分类(Classification)两个阶段

• 特征编码阶段#card
  

• 分类阶段。#card

  • 前一阶段提取出来的有效特征经过简单映射，就成为最终分类

常规机器学习中，特征编码与分类是由一个模型通过端到端学习来完成的。但是由于现在标注稀疏，我们只好将特征编码与分类在物理上拆分成两个独立的模型。

• 特征编码模型。#card

  • 通过自监督学习方式来学习。所谓自监督学习，是指不依赖人工标注，通过挖掘未标注样本内部存在的结构、关联，将特征编码这个模型训练出来。

  • 传统的降噪自编码器(Denoising AutoEncoder)（Word2Vec和Transformer通过句子的一部分预测另一部分）和这里要讲的对比学习，都属于自监督学习的范畴。

• 分类模型。#card

  • 还是需要通过监督方式来学习。

  • 但是由于特征编码阶段提取出来的有效特征的长度已经大大缩短，因此分类模型只需要少量标注数据就能被充分训练，从而缓解了标注稀疏的问题。

对比学习示意

occlusion:: eyIuLi9hc3NldHMvaW1hZ2VfMTc0NzAwODcwNTc2MF8wLnBuZyI6eyJjb25maWciOnt9LCJlbGVtZW50cyI6W3sibGVmdCI6MTM2NC4zMTgxMzgyNDM2NzYsInRvcCI6NTg4LjAxNDgxMTczODgzMDMsIndpZHRoIjo2MDUuODg0ODU2NTk4MjcyMywiaGVpZ2h0Ijo1OTUuMzg1NDIyMDQ5NDE3MiwiYW5nbGUiOjAsImNJZCI6MX0seyJsZWZ0IjoyMDEuMzgxNTY3OTIwNjMyMjUsInRvcCI6NjAxLjg4NTc3NDM0NjUyNCwid2lkdGgiOjM1NS4zMzQwMzgxODYyOTU5NywiaGVpZ2h0IjoxMTE0LjIzNjQ3NzUxODY2NSwiYW5nbGUiOjAsImNJZCI6Mn1dfX0=
对比学习 [[Contrastive Learning]]

• 如何定义负样本

  • CV

    • 同一张图片进行裁剪和翻转成为两张正样本，其它图片是负样本
• 1. 基于负例对比学习：[[MoCo]] MocoV2 MocoV3 SimCLR SimCLRV2
• 2. 基于聚类的对比学习：以SwAV为代表，也是上下分支对称结构。
• 3. 使用正例：其中一个代表模型BYOL，上分枝被称为Online，下分枝被称为Target，结构不对称；
• 4. 更换了一个损失函数：代表模型是Barlow Twins，使用正例，结构对称，更换了损失函数，这个很有意思，可以看一下。

相关参考

• 对比学习（Contrastive Learning）:研究进展精要 - 知乎

• 利用Contrastive Learning对抗数据噪声：对比学习在微博场景的实践 - 知乎

• 对比学习在推荐系统应用

  • 对比学习视角:重新审视推荐系统的召回粗排模型 - 知乎 (zhihu.com)

  • 自监督学习是如何解决推荐系统的数据稀疏性问题？ - 知乎 (zhihu.com)

  • 跨域推荐: 迁移学习在推荐系统中的应用 - 知乎 (zhihu.com)

  • Contrastive Representation Learning | Lil’Log (lilianweng.github.io)