粗排工程优化
1)商品覆盖时效性,#card
-
因为很多时候商品候选规模在上亿级别,而粗排商品向量对特征变化敏感,回刷频率较高,甚至天级别的全库回刷。
-
除了工程链路上的优化提效,策略上还可以考虑只对增量和特征有变化商品进行特征向量预测;
-
另外还可以缩小策略覆盖范围,或只对特定圈定商品生效该粗排策略等。
2)query-user向量塔和item向量塔模型一致性问题,#card
-
由于双塔模型很多情况下需要频繁训练进行参数更新,在部署过程中可能会遇到query-user向量是版本A模型,而item侧向量是版本B模型的情况。
-
针对这个问题,一方面可以从工程侧进行模型同步控制进行解决。而在工程架构不能很好支持的情况下,也可以选择在夜晚进行模型更新,降低模型不一致带来的负面影响;
-
再次一点,可以选择减小模型更新频率,如日更改为周更。而减小更新频率也会损失一定的模型效果,一方面由于低频率更新需要考虑减少使用ID类型特征,以免过度依赖模型的记忆性,另一方面也是因为模型会损失增量更新带来的泛化能力。