双语

Expert-aware quantisation: near-Q4 quality at near-Q2 size?
a day ago
- 分析MoE模型发现，在代码生成过程中，专家使用高度集中：256个专家中的前32个处理了约50%的路由，从而实现了选择性量化。
- 引入了一种技术，以高精度量化“热”专家（任务相关），以低精度量化“冷”专家（例如，Q8-hot/Q2-cold或Q4-hot/Q2-cold），通过修改llama.cpp实现。
- 结果表明，经过剖析的分层量化优于随机选择，并在接近Q2大小的情况下实现了接近Q4的质量：Q4-hot/Q2-cold模型仅用额外1GB就恢复了Q2和Q4之间约90%的差距。
- 该方法尚未达到生产就绪状态，但指出了未来的方向：低于2比特的冷专家、动态领域特定模型下载以及更大的剖析数据集。
- 先前的工作包括DynaExq、Mixture-Compressor、MoPEQ以及像AWQ和SpQR这样的基础量化方法，但本工作将每个专家的静态领域剖析量化应用于单个GGUF文件。
Instella-Moe: An Open Mixture-of-Experts Language Model
4 days ago
- AMD推出Instella-MoE，这是一个完全开放的混合专家语言模型，总参数为160亿，每个token的活跃参数为28亿。
- 该模型从头开始训练，使用AMD Instinct MI300X和MI325X GPU以及AMD ROCm软件栈，融合了门控多头潜在注意力（Gated MLA）和FarSkip-Collective连接等架构创新。
- Instella-MoE经历多阶段训练流程，包括预训练、中期训练、长上下文扩展、监督微调、直接偏好优化和
Laguna S 2.1
8 days ago
- Laguna S 2.1 是一个拥有118B参数的混合专家模型，每个token激活8B参数，支持1M token的上下文窗口，在九周内开发完成。
- 它在长周期编码基准测试中取得了与更大模型竞争的成绩，在Terminal-Bench 2.1上得分70.2%，在DeepSWE v1.1上得分40.4%。
- 所有评估轨迹已公开发布在trajectories.poolside.ai，以确保透明度和可重复性。
- 案例研究表明，该模型从头构建了一个浏览器引擎，优化了自身的测试框架（速度提升5.2%，内存减少70%），并重新发现了一个数学证明。
- 该模型提供两种思考模式：关闭和最大，其中最大模式显著提升了性能（例如，Terminal-Bench 2.1从60.4%提高到70.2%）。
- 已知的限制包括测试框架过拟合、嵌套工具调用问题，以及在困难问题上思考时间超出预期。
- 关键的训练改进包括更大的展开预算、更好的沙盒基础设施、多测试框架展开，以及FP8精度的强化学习。
- 该模型专注于智能编码能力，并通过强化学习恢复隐藏的推理过程。
- Laguna S 2.1 可通过多个平台（Hugging Face、OpenRouter、Baseten）获取，并基于OpenMDW-1.1开放权重。
Motif-3-Beta
8 days ago
- Motif-3-Beta是即将推出的Motif-3混合专家（MoE）语言模型的预览检查点，并非最终版本。
- 它拥有约3140亿个总参数，每个令牌仅激活约130亿个参数，采用稀疏MoE架构，包含384个专家（每个令牌激活8个专家，外加1个共享专家）。
- 支持原生上下文长度256K令牌（262,144），专为多语言、通用任务而构建。
- 该模型引入了自定义内部组件：分组差分潜在注意力（GDLA）、每个专家的分组PolyNorm激活以及改进的mHC架构。
- 可通过Hugging Face Transformers管道（设置trust_remote_code=True）、vLLM服务器、SGLang服务器或Docker Model Runner使用。
- 权重公开可用，无需访问请求；许可证仅允许个人、教育及非商业研究用途，商业使用需事先获得许可。
- 根据Artificial Analysis的评估，它在AAII基准测试中获得了44分。
German AI consortium releases Soofi S, an open 30B model
14 days ago
- 德国研究联盟发布了完全在德国电信AI云上训练的开源300亿参数语言模型Soofi S。
- Soofi S采用资源高效的混合专家（MoE）混合架构，每个令牌仅激活316亿参数中的32亿，以确保长文本输入下的恒定处理速度。
- 该模型在德语、英语和编程基准测试中表现优于其他完全开源模型（如Olmo 3 32B和Apertus 70B），其训练数据刻意侧重德语内容。
- 批评者认为Soofi S依据Chinchilla缩放法则存在‘过度训练’，但技术领导层反驳称，由于MoE架构的数据重复利用优势，该法则并不适用。
- Soofi S在长上下文生成中展现出强大吞吐量，在4000至256000个令牌范围内保持近乎稳定的性能，并在德语知识测试中领先，但在数学和事实检索方面存在一些弱点。
- 该模型基于使用可再生能源的主权基础设施训练，并公开了权重、代码和数据清单，但因包含少量商业许可数据集，未能完全满足严格的欧洲开放数据定义。
Tencent Hy3
22 days ago
- 该文本提供了如何使用腾讯Hunyuan3模型配合各种库、推理提供商、笔记本以及本地应用程序的指导。
- 文中详细举例了如何在Transformers、vLLM、SGLang和Docker环境中使用Hunyuan3，包括安装、服务器设置和API调用的代码片段。
- Hunyuan3是由腾讯混元团队开发的2950亿参数专家混合模型，激活参数210亿，在智能体任务、推理和长上下文处理方面展现出强大能力。
- 根据内部评估，该模型在稳定性、知识准确性和多轮意图追踪方面有所改进，幻觉和错误率有所降低。
- 部署建议包括在8张GPU上使用vLLM或SGLang并采用特定配置，该模型基于Apache License 2.0开源，可在多个平台上获取。

Hasty Briefsbeta

mixture-of-experts

Expert-aware quantisation: near-Q4 quality at near-Q2 size?

Instella-Moe: An Open Mixture-of-Experts Language Model

Laguna S 2.1

Motif-3-Beta

German AI consortium releases Soofi S, an open 30B model

Tencent Hy3