梯度裁剪

常见做法

• 根据参数的 gradient 值直接进行裁剪
• 根据若干参数的 gradient 组成的 vector 的 L2 norm 进行裁剪
  • 设定 clip_norm
  • 反向传播后计算参数 gradient 构成 vector 的 L2norm，记为 LNorm
  • 计算缩放因子 scale_factor = clip_norm/LNorm
  • tf.clip_by_global_norm
    

Ref

• 梯度裁剪及其作用 | 吴良超的学习笔记 (wulc.me)

网络回响