2024-10-052025-04-17 随手记 5 分钟读完 (大约792个字) 0次访问

Importance Sampling

[[Monte Carlo]]，[[近似求定积分]]

f(x) 在 [a,b] 上的积分很难直接求，利用采样的方法进行计算。
$\int_{a}^{b} f(x) d x=\frac{b-a}{N} \sum_{i=1}^{N} f\left(x_{i}\right)$

假设需要估计期望 $E_{x \sim p}[f(x)]$ ， $p$ 表示采样变量 $x$ 的分布

$E_{x^{\sim} p}[f(x)]$ :-> $\int p(x) f(x) d x \approx \frac{1}{N} \sum_{i=1}^N f\left(x_i\right)$
- 如果分布 $p$ 很难积分 :-> 通过 $p$ 采样来进行期望的估计
- 如果 $p$ 采样很麻烦 :-> 用更简单的已知分布 $q$ 来代为采样
在 $q$ 分布下计算期望公式 :-> $E_{x^{\sim} p}[f(x)]=E_{x^{\sim} q}[\frac{p(x)}{q(x)}f(x)]$
重要性采样对估计的 [[方差与均值]] 影响 :-> 均值一致，但方差并不能确定一致
已知期望计算方差公式 :-> $\operatorname{Var}(x)=E\left(x^2\right)-[E(x)]^2$
- 原分布p方差定义为 :-> $\operatorname{Var}_{x^{\sim}p}[f(x)]=E_{x^{\sim}p}\left[f(x)^{2}\right]-\left(E_{x^{\sim}p}[f(x)]\right)^{2}$
- 新分布q方差 :-> ${\operatorname{Var}_{x \sim q}\left[f(x) \frac{p(x)}{q(x)}\right]=E_{x \sim q}\left[\left(f(x) \frac{p(x)}{q(x)}\right)^{2}\right]-\left(E_{x \sim q}\left[f(x) \frac{p(x)}{q(x)}\right]\right)^{2}}$
  - 最终方差 :-> $\operatorname{Var}_{x^{\sim} q}\left[\frac{p(x)}{q(x)} f(x)\right]=E_{x^{\sim} p}\left[\frac{p(x)}{q(x)} f(x)^2\right]-\left(E_{x^{\sim} p}[f(x)]\right)^2$ $V a r_{x^{\sim} q} [\frac{p ( x )}{q ( x )} f (x)] = E_{x^{\sim} p} [\frac{p ( x )}{q ( x )} f (x)^{2}] - (E_{x^{\sim} p} [f (x)])^{2}$
    - 如何推导出最终方差 #card
      - $E_{x^{\sim} q}\left[\left(\frac{p(x)}{q(x)} f(x)\right)^2\right]=\int\left(\frac{p(x)}{q(x)} f(x)\right)^2 q(x) d x=\int \frac{p(x)}{q(x)} f(x)^2 p(x) d x=E_{x^{\sim} p}\left[\frac{p(x)}{q(x)} f(x)^2\right]$
      - $\left(E_{x^{\sim} q}\left[\frac{p(x)}{q(x)} f(x)\right]\right)^2=\left(E_{x^{\sim} p}[f(x)]\right)^2$
根据原分布p方差定义为 :-> $\operatorname{Var}_{x^{\sim}p}[f(x)]=E_{x^{\sim}p}\left[f(x)^{2}\right]-\left(E_{x^{\sim}p}[f(x)]\right)^{2}$
和 ((66dc826d-6ba6-4a23-bf77-ce297d3e25d3))
- 当分布 p、q 越接近， 其方差就越接近 ，而如果两者差距很大时， 则方差差别很大
- [[Importance Weight]] :<-> $\frac{p(x)}{q(x)}$
- 在采样次数较少时，基于重要性采样得到的样本并不能 很好反映变量的原始分布 ，从而产生较大误差。