OneRec Encoder

• 编码器输入 #card
  • $\mathbf{z}^{(1)}=\left[\mathbf{h}_u ; \mathbf{h}_s ; \mathbf{h}_p ; \mathbf{h}l\right]+\mathbf{e}{\mathrm{pos}}$
  • e_pos 代表可学习的 positional embedding
• 编码器 integrated representation 过程 #card
  • L enc 层
  • fully visible self-attention + feed-forward networks with RMS normalization
    
  • 最后生成 $\mathbf{z}{\mathrm{enc}}=\mathbf{z}^{\left(L{e n c}+1\right)} \in \mathbb{R}^{\left(1+L_s+L_p+N_q\right) \times d_{\text {model }}}$ 多尺度用户行为表示