@基于超网络的实时可控重排模型

链接：淘宝推荐场景的利器：融合复杂目标且支持实时调控的重排模型 如何灵活调节多目标之间的权重。

对应论文：[[KDD/2023]] Controllable Multi-Objective Re-ranking with Policy Hypernetworks

摘录

动机

• 强化学习的 reward function 由多个指标线性加权求和得到，加权参数 w 代表对各个目标之间的倾向。
• 动态指定 preference weights，给定任一一个 w，都能生成最好的序列。
• 准备多套 w，对应不同的业务目标。
• 

方法

• 核心 Hypernet 和 conditional training
• 预测
  • 根据用户 和 candidate item 信息实时指定 w，Hypernetwork 根据 w 生成参数给重排模型（DNN 最后几层的 w 和 b）。
  • 图中重排模型黄色参数对 w 敏感，蓝色参数对 w 不敏感。
• 训练
  • 每一个 sample 或 batch 从事先指定的 distibution 中随机采样一个 w。
  • 重排模型生成序列给 evaluator 评估，reward 转化成一个 gradient，同时更新 hypernet 和重排模型相关的参数。
• 

结果

• a
  • x 轴点击 utility 的权重，y 轴是线上真实回收出来的样本的点击平均值。
  • 蓝色折线真实值，橙色一次拟合。
  • utility 权重增大，点击率明显上升。重排模型能够依据给定的 w 生成不一样的序列。
• b 冷启内容占比
• c 店铺多样性
• d 组间排序的 utility，表示来自不同 group 的内容，大致要按照 group 的优先级排序。
• 右边是 ab 结果，实验方案线上超参调节，指标有提升。
•