共轭先验

[[贝叶斯公式]] $p(\boldsymbol{w} \mid \boldsymbol{X})=\frac{p(\boldsymbol{X} \mid \boldsymbol{w}) p(\boldsymbol{w})}{p(\boldsymbol{X})}$

• 分母 px 与 w 无关

• $p(\boldsymbol{w} \mid \boldsymbol{X}) \propto p(\boldsymbol{X} \mid \boldsymbol{w}) p(\boldsymbol{w})$

• 后验相关于似然乘先验

[[共轭]]： 如果先验和似然相乘得到的后验与先验有相同的函数形式，我们就说该先验是似然的共轭先验，也说后验分布和先验分布是共轭分布。
ls-type:: annotation
hl-page:: 61
hl-color:: yellow

• 如何判断？

  • 是否共轭看的是后验是否和先验有相同的函数形式。
    ls-type:: annotation
    hl-page:: 61
    hl-color:: yellow

    • 不是先验和似然的函数形式是否相同，也不是似然和后验函数形式是否相同。

    • 先验和后验都是对 $\boldsymbol{w}$ 建模，似然是基于$\boldsymbol{w}$ 对 X 建模。

      • 先验与似然的的研究对象不同，不能强求函数形式相同。

      • 先验和后验是对同一对象的两个不同模型，可以要求有相同的函数形式。

  • 特殊情况： 在某些情况下，存在先验、后验、似然三者函数形式均相同的情况。
    ls-type:: annotation
    hl-page:: 61
    hl-color:: green

    • x服从高斯分布时似然是高斯的，其均值的共轭先验也是高斯的，由共轭先验得到的后验也是高斯的，此时三者的函数形式都相同。
      ls-type:: annotation
      hl-page:: 61
      hl-color:: green

• 似然和先验共轭，后验分布和先验分布是共轭分布

  • 例子：

    • 我们说“伯努利分布的共轭先验是Beta 分布”
      ls-type:: annotation
      hl-page:: 62
      hl-color:: green

      • 伯努利分布是随机变量 x 服从的分布，对应似然，相当于似然和先验共轭

    • 我们一般不说“伯努利分布参数µ的后验分布和Beta共轭”
      ls-type:: annotation
      hl-page:: 62
      hl-color:: green

      • 后验与先验共轭

    • 我们倒是可以说“由Beta分布导致的伯努利分布参数µ的后验分布和Beta先验是共轭分布”
      ls-type:: annotation
      hl-page:: 62
      hl-color:: green

共轭先验是一种特殊的先验

• 局限性

  • 理论上，我们应该从问题的实际出发，为参数引入最合理的先验，也就是我们应该从建模的合理性而不是从计算的方便性和可解释性出发选择先验。
    ls-type:: annotation
    hl-page:: 62
    hl-color:: yellow

• 优点

  • ls-type:: annotation
    hl-page:: 62
    hl-color:: yellow

    • 先验和后验函数形式相同

  • ls-type:: annotation
    hl-page:: 62
    hl-color:: yellow