【概率方法】重要性采样

从一个极简分布出发

假设我们有一个关于随机变量 的函数，满足如下分布

	0.9	0.1
	0.1	0.9

如果我们要对 的期望 进行估计，并且我们有一些从 中采样的样本，那么朴素的想法是，直接关于 采样，把采样到的值加起来求平均

但是问题在于，如果采样的样本个数比较少，很可能采样的全都是 0.1，那么和理论值 0.9*0.1+0.1*0.9=0.18 就相差很大。也就是这样的估计方法方差过大。

这个问题的本质原因在于和形状的不匹配：在贡献比较大的值的位置，采样的概率很小，一旦采样个数过少，不足以产生足够的对的贡献，因此产生很大的方差

有什么解决办法呢？

重要性采样

如果我们可以换另一个已知的简单的采样分布，使得它和匹配，那么方差就能够变小。（这也是此方法命名为重要性采样的原因）

我们可以给积分里面上下乘以一个 q(X)，就可以变换成关于 求另一个表达式的期望

由于 的值我们都是可以计算的，假设 也可以正常采样，那么这个期望是可以求的。

真的有用？

我们不妨取 和 完美匹配，即
然后我们关于 采样，求 的期望

	0.5	0.5
	0.18	0.18

好了，你随便从 采，能和理论值不一样算我输

重要性采样真的是有用的。不过这只是一个极端的例子，实际上要取这样的一个 也并不是很容易，还是要到具体领域问题里面具体分析。