向量召回迭代离线评估指标
向量召回策略变量较多,通过线上效果调整参数成本较高,需要合适的离线评测指标进行策略好坏度量,以加快迭代效率。比较常用的如#card
-
Recall@K来度量模型的排序能力;
-
如AUC/GAUC指标来度量策略的点击/成交效率;
-
对于标注有query-item相关程度的样本,还可以使用F1或AUC等指标回归模型的相关性区分能力。
-
不同的离线迭代目标同样需要设计好评测样本,以提升指标的置信度。
向量召回策略变量较多,通过线上效果调整参数成本较高,需要合适的离线评测指标进行策略好坏度量,以加快迭代效率。比较常用的如#card
Recall@K来度量模型的排序能力;
如AUC/GAUC指标来度量策略的点击/成交效率;
对于标注有query-item相关程度的样本,还可以使用F1或AUC等指标回归模型的相关性区分能力。
不同的离线迭代目标同样需要设计好评测样本,以提升指标的置信度。