对比学习在推荐系统中的作用与使用方式

训练过程中注意事项

• 第一点，参与对比学习任务的样本和参与主任务的样本，最好来自不同的样本空间。#card

  • 主任务需要拟合用户与物料之间的真实互动，训练数据还是以曝光数据为主，也就是以老用户、老物料为主。

  • 对比学习任务，既然是为了放大少数群体样本的影响力，其训练样本应该以鲜有曝光机会的少数人群和小众物料为主。

  • 比如，越少曝光的用户或物料的样本被衍生、增强得应该越多；反之，就应该少增强或不增强。

• 第二点，主任务与对比学习任务之间必须共享参数。#card

  • 近年来的趋势是，参数共享、结构共享在推荐算法中越来越不受待见。

  • 比如，多任务场景下，流行让同一个特征对不同目标拥有不同Embedding；

  • 再比如，阿里巴巴的Co-Action Network 通篇都在讲参数独立性，同一个特征与不同特征交叉时要使用不同的Embedding。

  • 但是，对于对比学习，参数共享是必须的。否则，主模型与对比学习辅助模型各学各的，主模型中的偏差依旧存在，对比学习没发挥作用。