Ch2 Probaility Distributions

[[伯努利分布]] 一次二值实验

• [[二项分布]] n 次二值实验

• [[Beta 分布]]

[[多项分布]] k 种取值

• 共轭先验是[[狄利克雷分布]]

[[高斯分布]]

• [[参数估计]]

  • [[极大似然估计]]

• [[高斯共轭先验]]

  • 均值共轭先验是高斯分布

  • 方差

    • 一维高斯方差的共轭先验是逆Gamma分布

    • 多维高斯协方差阵的共轭先验是逆Wishart分布

• 无信息先验及其他

  • [[GMM]]

  • [[Student-t 分布]]

[[指数族分布]] 一定可以找到共轭先验，且共轭先验形式确定。

• 非参模型：不能由有限个参数决定，对新 x 计算可以用之前全部的训练数据

  • 参数控制模型复杂度

  • [[K-Means Clustering]] 中 K 代表中心点数量

根据数据集 X 建模 P(x)

• [[密度估计]] density estimation

  • [[独立同分布]]i.i.d independent and identically distributed

• 参数化

  • 参数可以选择先验

  • [[共轭先验]] Conjugate prior

• 非参数化