J-space comparisons across open models
8 hours ago
- #Jacobian lens
- #cross-model transfer
- #model interpretability
- 研究考察了开放模型中的‘可言语化工作空间’（J空间），扩展了Anthropic的研究发现。
- 主要发现：时间视界显示受早期层影响最长，而非中间层；‘陡坡’现象早期出现并在训练中保持稳定；层内的几何结构持续重排。
- 概念向量在模型间跨家族移植可通过旋转实现高精度；跨规模迁移效果较差；借用的向量需要更大调整力度。
- 词典容量（PR）随模型宽度和训练时长增加而扩展，但在接近2×10^22次浮点运算时停止增长；单个词元参与的条目数量随规模增大而减少。
- 词典结构依赖语料库：输入层在不同文本类型间差异显著，输出层则保持稳定；语料类型影响模型间感知相似性。
- 关于专家混合模型的观察属于初步结论，受数据有限性影响。