DeepSeek-V4-Flash means LLM steering is interesting again
3 hours ago
- 导向（Steering）涉及在推理过程中操纵LLM的激活状态以引导输出，这对于像DeepSeek-V4-Flash这样的本地模型变得实用。
- 提取导向向量的两种方法：一种是简单地在提示对之间进行激活值的相减，另一种是使用先进的稀疏自编码器将特征映射到概念。
- 导向技术虽然有趣，但在基本调整方面通常不如提示工程（prompt engineering），因为提示已经实现了细粒度的控制。
- 导向对于像‘智能’或‘代码库知识’这样难以用提示表达的概念具有潜在价值，尽管这些可能需要微调（fine-tuning）而非导向。
- 开源社区可能会借助像DwarfStar 4这样的工具更多地探索导向，特别是用于移除拒绝回答或提升特定行为，同时不损害模型能力。