Ch2 Probaility Distributions

[[伯努利分布]] 一次二值实验

• [[二项分布]] n 次二值实验
• [[Beta 分布]]

[[多项分布]] k 种取值

• 共轭先验是[[狄利克雷分布]]

[[高斯分布]]

• [[参数估计]]
  • [[极大似然估计]]
• [[高斯共轭先验]]
  • 均值共轭先验是高斯分布
  • 方差
    • 一维高斯方差的共轭先验是逆Gamma分布
    • 多维高斯协方差阵的共轭先验是逆Wishart分布
• 无信息先验及其他
  • [[GMM]]
  • [[Student-t 分布]]

[[指数族分布]] 一定可以找到共轭先验，且共轭先验形式确定。

• 非参模型：不能由有限个参数决定，对新 x 计算可以用之前全部的训练数据
  • 参数控制模型复杂度
  • [[K-Means Clustering]] 中 K 代表中心点数量

根据数据集 X 建模 P(x)

• [[密度估计]] density estimation
  • [[独立同分布]]i.i.d independent and identically distributed
• 参数化
  • 参数可以选择先验
  • [[共轭先验]] Conjugate prior
• 非参数化

网络回响