DLRM
Facebook DLRM框架#card
Embedding 层：dense features concat 在一起 经过黄色的 MLP 生成 n 维向量。
NNs：对 embedding 层的结果选择性进行转化
interaction 层：之前的 embedding 两两做点积，并且和 dense features 对应的 embedding concat 输入到 MLP 中。
intercaton 层相当于 [[FM]] 的交叉结果再放到 MLP 中。和 [[NFM]] 有点类似。
最后实验是和 [[DCN]] 对比。
并行训练方法
DLRM中的并行拆分#card
Embedding 层模型并行：解决内存问题，一个计算节点仅保存一部分参数，更新时仅更新自己节点上的参数#card
MLP 层数据并行：保存全部的参数，利用部分数据计算梯度，再用全局归约的方法汇总所有梯度进行参数更新。#card
