从一个极简分布出发
假设我们有一个关于随机变量 的函数
，满足如下分布
| 0.9 | 0.1 | |
|---|---|---|
| 0.1 | 0.9 |
如果我们要对 的期望
进行估计，并且我们有一些从
中采样的样本，那么朴素的想法是，直接关于
采样，把采样到的值加起来求平均
但是问题在于，如果采样的样本个数比较少，很可能采样的全都是 0.1，那么和理论值 0.9*0.1+0.1*0.9=0.18 就相差很大。也就是这样的估计方法方差过大。
这个问题的本质原因在于和
形状的不匹配：在
贡献比较大的值的位置，
采样的概率很小，一旦采样个数过少，
不足以产生足够的对
的贡献，因此产生很大的方差
有什么解决办法呢？
重要性采样
如果我们可以换另一个已知的简单的采样分布，使得它和
匹配，那么方差就能够变小。（这也是此方法命名为重要性采样的原因）
我们可以给积分里面上下乘以一个 q(X)，就可以变换成关于 求另一个表达式的期望
由于 的值我们都是可以计算的，假设
也可以正常采样，那么这个期望是可以求的。
真的有用？
我们不妨取 和
完美匹配，即
然后我们关于 采样，求
的期望
| 0.5 | 0.5 | |
|---|---|---|
| 0.18 | 0.18 |
好了，你随便从 采，能和理论值不一样算我输
重要性采样真的是有用的。不过这只是一个极端的例子，实际上要取这样的一个 也并不是很容易，还是要到具体领域问题里面具体分析。
文章出处登录后可见！
已经登录？立即刷新
