Speculative Sampling Explained
3 months ago
- #probability
- #machine-learning
- #sampling
- 推测性采样通过草稿采样实现与目标采样相同的结果。
- 目标分布为$p(x)$，草稿分布为$q(x)$。
- 标记可能被过采样（$q(x_i) > p(x_i)$）或欠采样（$q(x_i) < p(x_i)$）。
- 过采样标记通过以$p(x_i)/q(x_i)$概率接受进行降采样。
- 欠采样标记使用残差分布进行增采样。
- 残差分布定义为$r(x_i) = \frac{\max(0, p(x_i) - q(x_i))}{\sum_{x_i} \max(0, p(x_i) - q(x_i))}$。
- 拒绝触发时从残差分布重新采样。
- 总拒绝概率等于残差分布的归一化常数。
- 最终采样结果恢复目标分布$p(x)$。