概率论

[[条件概率]] → 在某一时间已发生的条件下，另一事件发生的概率。

[[联合概率]] → 两个或多个事件同时发生的概率

[[边缘概率]] Marginal Probability → 通过将联合概率对无关变量求和（或积分）得到单个事件的概率。

常用概率分布

• [[Bernoulli Distribution]] 一次伯努利实验结果
• [[Binomial Distribution]] n 次伯努利实验结果

[[大数定律]]

[[中心极限定理]]

[[Bayes theorem]]

• [[Bayesian]]
  • [[Bayes theorem]]
  • 贝叶斯公式
• [[先验概率]]、[[后验概率]]、[[似然函数]]
• 先验分布、后验分布
• [[共轭先验]]

概率和统计的区别？

• 概率 ↔ 已知模型和参数，求数据。
• 统计 ↔ 已知数据，推模型和参数。

[[概率质量函数]] 描述 → 一个离散概率分布 (变量的取值范围是个离散集合）

[[概率密度函数]] 描述 → 一个连续概率分布（变量的取值范围是个连续集合）对应 x 的概率取值 f(x)

• 对 f(x) 求积分得到 [[累积分布函数]] $F(a)=\int_{-\infty}^a f(x) dx$

[[KL Divergence]]

[[参数估计]] → 找到解释已有数据的参数 $\theta$

• 频率学派观点是 ↔ 存在唯一的真值 $\theta$
  • 极大似然估计 [[MLE]] ↔ 在给定样本的情况下，使得样本发生概率最大的参数估计方法
• 贝叶斯学派观点是 ↔ $\theta$ 是一个随机变量
  • 最大后验概率估计[[MAP]]
• 贝叶斯估计 [[BNN]]

网络回响