概率论

[[条件概率]] :-> 在某一时间已发生的条件下，另一事件发生的概率。
[[联合概率]] :-> 两个或多个事件同时发生的概率
[[边缘概率]] Marginal Probability :-> 通过将联合概率对无关变量求和（或积分）得到单个事件的概率。
常用概率分布

• [[Bernoulli Distribution]] 一次伯努利实验结果

• [[Binomial Distribution]] n 次伯努利实验结果

[[大数定律]]

[[中心极限定理]]

[[Bayes theorem]]

• [[Bayesian]]

  • [[Bayes theorem]]

  • 贝叶斯公式

• [[先验概率]]、[[后验概率]]、[[似然函数]]

• 先验分布、后验分布

• [[共轭先验]]

概率和统计的区别？

• 概率 :<-> 已知模型和参数，求数据。

• 统计 :<-> 已知数据，推模型和参数。
  [[概率质量函数]] 描述 :-> 一个离散概率分布 (变量的取值范围是个离散集合）
  [[概率密度函数]] 描述 :-> 一个连续概率分布（变量的取值范围是个连续集合）

• 对应 x 的概率取值 f(x)

• 对 f(x) 求积分得到 [[累积分布函数]] $F(a)=\int_{-\infty}^a f(x) dx$

[[KL Divergence]]

[[参数估计]] :-> 找到解释已有数据的参数 $\theta$

• 频率学派观点是 :<-> 存在唯一的真值 $\theta$

  • 极大似然估计 [[MLE]] :<-> 在给定样本的情况下，使得样本发生概率最大的参数估计方法

• 贝叶斯学派观点是 :<-> $\theta$ 是一个随机变量

  • 最大后验概率估计[[MAP]]

• 贝叶斯估计 [[BNN]]