A Visual Exploration of Gaussian Processes (2019)
9 months ago
- #Machine Learning
- #Regression
- #Gaussian Processes
- 高斯过程（GPs）是机器学习中解决回归问题的强大工具。
- 高斯过程建立在多元高斯分布的数学基础上，由均值向量和协方差矩阵定义。
- 高斯过程的关键操作包括边缘化和条件化，这些操作在高斯分布下是封闭的。
- 边缘化可以提取部分信息，而条件化则通过基于新数据更新概率实现贝叶斯推断。
- 高斯过程使用核函数（协方差函数）定义协方差矩阵，从而影响预测函数的形状和特性。
- 核函数可以是平稳的（如径向基核、周期核）或非平稳的（如线性核），并且可以组合使用以建模复杂的数据趋势。
- 高斯过程的先验分布假设均值为零，后验分布通过对观测训练数据进行条件化得到。
- 高斯过程可以通过在训练点上添加误差项来建模测量误差，从而得到更现实的预测。
- 组合核函数（如线性核+周期核）可以同时捕捉数据的全局趋势和局部模式。
- 高斯过程具有灵活性，可以进一步扩展，例如通过深度学习学习专用核函数。