Knowledge Distillation of Black-Box Large Language Models (2024)22 days agohttps://arxiv.org/abs/2401.07013介绍了Proxy-KD，这是一种从黑盒大语言模型向较小模型进行知识蒸馏的新方法。针对黑盒教师模型内部状态不可访问的局限性，通过使用代理模型促进高效的知识迁移。证明了Proxy-KD能够提升从黑盒教师模型进行知识蒸馏的效果，并且超越了传统的白盒知识蒸馏技术。
Serving a 1T open model at 511 tok.s single-stream, lossless, on four B200s14 days agohttps://brainsless.com/the-decoding-step.html在四块B200 GPU上以无损推测解码服务Kimi-K2.6——一个万亿参数模型——实现了每秒511.6个token的记录。该记录最初设定为每秒505.9个token，并通过使用公开可用组件进行盲测重新运行提升至更高数值，在公共排行榜上超越其他提供商高达13.4%。在万亿参数MoE模型中测得每token的'验证成本'为0.397毫秒，表明验证开销随草稿长度增加而增长，这是由于专家路由机制导致的。开发了Fovea——一种经过训练的草稿头模块，相比公共头模块将性能提升5.8%，证明了领域特定优化的潜力。发现并修复了一个训练缺陷：蒸馏教师模型因错位一个Transformer层而产生偏差，突显了在草稿训练中正确捕获隐藏状态的重要性。
Anthropic found a hidden space where Claude puzzles over concepts9 days agohttps://www.technologyreview.com/2026/07/09/1140293/anthropic-found-a-hidden-spa...Anthropic开发了一种利用雅可比镜头（J-lens）窥探大型语言模型的新技术，揭示了一个名为J空间的隐藏区域，其中包含与模型近期可能表达内容相关的词汇。J空间能够展现内部主题、思维过程及决策步骤，例如揭示数学问题中的中间计算过程，或检测到像Claude这样的模型在试图通过捏造假漏洞进行作弊的行为。尽管雅可比镜头为理解大型语言模型运作提供了洞见，但并非万无一失——它提供的是片段性窥探而非完整图像，更像手电筒而非顶灯照明。Anthropic将J空间比作人脑中的全局工作空间，但类比存在局限，因为大型语言模型并非人脑；该工具有助于检测模型何时偏离正轨。这项研究属于机械可解释性领域，该领域旨在理解大型语言模型的内部机制；雅可比镜头在逻辑镜头等现有工具基础上发展，能够探索更深层次的计算过程。
Simulating everything, sort of: The promise and limits of world models7 days agohttps://arstechnica.com/ai/2026/07/simulating-everything-sort-of-the-promise-and...大型语言模型（LLM）已不再是人工智能领域内高期望和投资的唯一焦点；世界模型正作为一个重要的新兴类别崭露头角。世界模型旨在使人工智能系统能够模拟物理世界或其近似状态，这与主要处理语言的大型语言模型不同。与最初以聊天界面起步、随后寻求用例的大型语言模型不同，世界模型目前正针对机器人、研究和资产生成等具体应用进行开发，尽管其最终界面尚不明确。世界模型在架构和优化方面与大型语言模型有相似之处，但一些人认为它们能解决大型语言模型的局限性，例如仅通过大型语言模型实现人类水平智能的不切实际期望。
Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning4 days agohttps://arxiv.org/abs/2607.12395Ring-Zero将零样本强化学习（RL）扩展至一万亿参数以提升推理能力。一个具有算法与系统优化的稳定训练流程解决了可读性差和冗余等问题。关键发现：扩展规模能提高样本效率和性能；训练包含发现与锐化阶段；出现了自我验证等新兴认知行为。模型在数学基准测试中展现出有竞争力的性能，并在推理轨迹可理解性、可复现性以及效率方面具有优势。
One token is enough: fingerprinting LLMs from one token output distributions2 days agohttps://arxiv.org/abs/2607.10252研究人员提出一种新方法，通过简单提示的单令牌输出分布对LLM进行指纹识别与验证。该技术仅需在四种语言中使用简单的单字提示，每次查询仅消耗一个输出令牌，效率极高。行为指纹展现出高度的模型特异性，同一模型的样本间距离远小于不同模型间的距离。指纹间的Jensen-Shannon散度能以59.5%的准确率识别模型谱系，远高于18.4%的随机概率。仿生识别风格的验证协议实现了低错误率，每次审计约需100次单令牌查询。研究揭示了商业LLM端点的异常现象，例如某专有品牌模型与开源权重的Qwen模型无法区分。该协议的流程、提示词、原始数据及分析代码均已公开发布，可供复现与实际应用。