Multi-Scale Feature Engineering

user static pathway #card

• 用户静态特征转化成 d_model 长度向量
• $\mathbf{f}_u=\left[\mathbf{e}_{\text {uid }} ; \mathbf{e}_{\text {gender }} ; \mathbf{e}_{\text {age }} ; \cdots\right]$
• $\mathbf{h}_u =\operatorname{Dense}\left(\operatorname{LeakyReLU}\left(\operatorname{Dense}\left(\mathbf{f}_u\right)\right)\right)$

short-term pathway #card

• 处理用户最近 20 次交互视频相关，建模即时偏好和当前行为模式
• label 包括用户对每个视频的交互，包括点赞、关注、转发、不喜欢、评论、查看个人资料等
• 每个视频转化成 d_model 长度向量
  • $\mathbf{f}_s=\left[\mathbf{e}_{\text {vid }}^s ; \mathbf{e}_{\text {aid }}^s ; \mathbf{e}_{\text {tag }}^s ; \mathbf{e}_{\text {ts }}^s ; \mathbf{e}_{\text {playtime }}^s ; \mathbf{e}_{\text {dur }}^s ; \mathbf{e}_{\text {label }}^s\right]$,
  • $\mathbf{h}_s=\operatorname{Dense}\left(\operatorname{LeakyReLU}\left(\operatorname{Dense}\left(\mathbf{f}_s\right)\right)\right)$,

positive-feedback pathway #card

• 256 个有正反馈行为的视频序列
• 每个视频转化成 d_model 长度向量
  • $\mathbf{f}_p=\left[\mathbf{e}_{\text {vid }}^s ; \mathbf{e}_{\text {aid }}^s ; \mathbf{e}_{\text {tag }}^s ; \mathbf{e}_{\text {ts }}^s ; \mathbf{e}_{\text {playtime }}^s ; \mathbf{e}_{\text {dur }}^s ; \mathbf{e}_{\text {label }}^s\right]$,
  • $\mathbf{h}_p=\operatorname{Dense}\left(\operatorname{LeakyReLU}\left(\operatorname{Dense}\left(\mathbf{f}_p\right)\right)\right)$

lifelong pathway

• 处理 → 包含最多 10 万条视频的超长用户交互历史，两阶段分层压缩策略
• [[@Twin v2:Scaling ultra-long user behavior sequence modeling for enhanced ctr prediction at kuaishou]]
• Behavior Compression #card
  • 使用多模态内容表示，在每个用户的交互序列上进行分层 K-means 聚类
  • 每步聚类数量设置为 $\lfloor\sqrt[3]{|D|}\rfloor$， D 是当前数据中的项目数，动态调整聚类数量
  • 当前聚类中的类少于阈值 M 时，聚类过程终止，使用最靠近聚类中心的 item 表示该类
• Feature Aggregation 构建聚类的代表特征 #card
  • 稀疏类别特征 vid，aid 和 label
    • 用最靠近聚类中心的视频替代
  • 连续特征 tag、tx、playtime 和 duration
    • 计算聚类内所有视频的平均值，捕捉集体行为模式

用户长期历史序列 L=2000，每个视频被对应聚类 item 的特征替代 #card

The lifelong pathway compresses historical sequences through QFormer #card
+

网络回响