delayed feedback

在广告场景下，cvr 模型是这个问题的典型例子，因为转化是有延迟的，即在点击发生后过一段时间用户可能才会发生转化，且往往转化漏斗越深，延迟的时间越长

• 这时候有两种选择，#card

  • 一种是等待事件的 label 完全回流再进行训练，比如说事件的真实 label 能在一天内完全回流，做天级训练即可，但是这不符合上面提到的 “及时” 的原则；

  • 另一种则是实时把数据送入模型做 online training，但是这不符合上面提到的 “准确” 的原则，因为有些 label 可能还没回流。而实际上，实时性和准确性也是一个 trade-off 的关系。

Delayed FeedBack In Computational Advertising | 吴良超的学习笔记 (wulc.me) 如何解决 label 回传不及时，样本无偏#card

• 基本都是解决在 online-training 模式下如何解决 label 回传不及时的问题，如利用 importance sampling 等方法对样本做加权，或者让样本多次进模型，然后从统计意义推导出新的概率表达，从而保证样本是无偏的。