粗排工程优化

1)商品覆盖时效性,#card

  • 因为很多时候商品候选规模在上亿级别,而粗排商品向量对特征变化敏感,回刷频率较高,甚至天级别的全库回刷。

  • 除了工程链路上的优化提效,策略上还可以考虑只对增量和特征有变化商品进行特征向量预测;

  • 另外还可以缩小策略覆盖范围,或只对特定圈定商品生效该粗排策略等。

2)query-user向量塔和item向量塔模型一致性问题,#card

  • 由于双塔模型很多情况下需要频繁训练进行参数更新,在部署过程中可能会遇到query-user向量是版本A模型,而item侧向量是版本B模型的情况。

  • 针对这个问题,一方面可以从工程侧进行模型同步控制进行解决。而在工程架构不能很好支持的情况下,也可以选择在夜晚进行模型更新,降低模型不一致带来的负面影响;

  • 再次一点,可以选择减小模型更新频率,如日更改为周更。而减小更新频率也会损失一定的模型效果,一方面由于低频率更新需要考虑减少使用ID类型特征,以免过度依赖模型的记忆性,另一方面也是因为模型会损失增量更新带来的泛化能力。

作者

Ryen Xiang

发布于

2025-04-20

更新于

2025-04-20

许可协议


网络回响

评论