7 hours ago
- DwarfStar 4 (DS4) 迅速流行起来，因为发布了一个准前沿模型，该模型足够大且快速，适合本地推理，并结合了非对称的2/8位量化设置，可在96-128GB内存上运行。
- 该项目利用了本地AI运动和GPT 5.5的经验，通过适当的LLM交互技能，实现了快速开发（一周）。
- 作者上周平均每天工作14小时，类似于Redis早期，但正常平均是4-6小时。
- DS4不是一个一次性项目；它将发展使用最佳的开源权重模型，该模型在高性能Mac或像DGX Spark这样的'盒中GPU'设置上实际运行快速。
- 下一个竞争者预计将是DeepSeek v4 Flash本身，可能带有新的检查点和编码调优版本，以及其他领域特定变体（编码、法律、医学）。
- 这是作者首次使用本地模型来完成通常由Claude/GPT处理的严肃任务，而向量导向使得LLM具有更多自由度。
- 未来的重点包括质量基准测试、添加编码代理、用于长期质量的家庭硬件CI设置、更多端口以及分布式推理（串行和并行）。
- 作者强调，AI过于关键，不能仅仅作为一项提供的服务。