OneRec Encoder
编码器输入 #card
$\mathbf{z}^{(1)}=\left[\mathbf{h}_u ; \mathbf{h}_s ; \mathbf{h}_p ; \mathbf{h}l\right]+\mathbf{e}{\mathrm{pos}}$
e_pos 代表可学习的 positional embedding
编码器 integrated representation 过程 #card
L enc 层
fully visible self-attention + feed-forward networks with RMS normalization
+ 最后生成 $\mathbf{z}_{\mathrm{enc}}=\mathbf{z}^{\left(L_{e n c}+1\right)} \in \mathbb{R}^{\left(1+L_s+L_p+N_q\right) \times d_{\text {model }}}$ 多尺度用户行为表示