Why a model that explains 95% of variance only compresses 18%
12 hours ago
- #data-compression
- #entropy-encoding
- #machine-learning-models
- 压缩可以是有损的（接受误差以获得更高的压缩比）或无损耗的（准确重建数据但压缩比较低）。
- 在1000个公寓价格数据点上使用线性回归模型，压缩比有所不同：有损朴素编码为41:1，有损基于熵的编码为21:1，无损耗基于熵的编码为1.18:1。
- 无损耗压缩包括残差成本，这在例子中占大多数比特（94%），显示模型在比特节省方面的益处有限。
- 压缩比取决于编码方法和目的：当近似数据可接受时，有损压缩适用于存储节省，而无损耗则确保未来分析的准确重建。
- 无损耗压缩的渐近上限由数据固有结构和噪声（世界的属性）决定，而非由模型决定，这限制了压缩增益。
- 无损耗压缩中的残差保留信息以促进未来模型改进，作为揭示额外数据模式的“待办清单”。
- 该审计方法普遍适用于聚类、决策树和神经网络等模型，训练损失类似于压缩中的残差成本。