LLM Neuroanatomy II: Modern LLM Hacking and Hints of a Universal Language?
2 months ago
- #LLM
- #Transformer
- #Neuroanatomy
- 2024年年中发现的RYS（重复自身）方法，通过复制大语言模型的中间层来提升性能，且无需调整权重或重新训练。
- 在Qwen3.5-27B上的实验证实，中间层复制对现代模型有效，其中复制中间层带来的性能提升最为显著。
- 模型内部结构分为三个阶段：编码阶段（0-5层）、推理阶段（约10-50层）和解码阶段（约55-64层）。
- 跨语言实验表明，模型的内部表征更关注内容而非语言，暗示存在一种通用的'思维空间'。
- 热力图显示，复制中间层（如24-35层）可同时提升数学和情商表现，但更大区块的复制会产生收益递减效应。
- 单层重复能提高数学能力，但对情商影响甚微，这说明多层神经回路更有效。
- 研究尝试用束搜索和代理模型探索组合配置，但连续的中间层区块仍是最优方案。
- 帕累托前沿分析确定了最佳配置，其中仅复制33层就能以最小开销显著提升情商表现。
- Qwen3.5-27B的RYS变体已发布在HuggingFace平台，提供性能与计算成本的不同权衡方案。
- 该发现表明Transformer的推理过程由离散功能回路组织，这是各类模型的共性特征。