Neural Geometry in Vision Models with Block-Sparse Featurizers
4 days ago
- #Computer Vision
- #Neural Networks
- #Interpretability
- 块稀疏特征器（BSF）将模型激活分解为多维子空间而非单一方向，将概念捕捉为流形。
- BSF 在恢复可解释特征和更高效解释模型激活方面优于标准稀疏自编码器（SAE），这在玩具模型和 DINOv3 等视觉模型中得到展示。
- BSF 发现的特征支持细粒度调控，通过在多维子空间内移动，可探索概念变体，例如不同类型的树或椒盐脆饼。
- 视觉模型中的大多数概念是多维的，通常为二到四维，这挑战了概念由一维线表示的假设。
- BSF 揭示了神经网络中的连续结构，例如 InceptionV1 中的曲线检测器，发现了如傅里叶谐波等先前被碎片化的对称性。
- 块稀疏性原则是关键，强调子空间协同激活；不同的 BSF 变体（普通型、格拉斯曼型、群套索型）通过不同的编码器/解码器设计实现这一原则。
- 未来的工作可能涉及将特征器适配到不同领域，因为块稀疏性可能非普遍最优，可解释性工具应与模型表征的固有几何结构对齐。