Popping the GPU Bubble22 days agohttps://moondream.ai/blog/popping-the-gpu-bubble流水线解码将GPU和CPU的工作重叠，以避免GPU出现等待CPU处理管理任务的空泡期。三种机制确保安全性：乒乓槽防止缓冲区冲突、先解码后采样处理受限解码场景、僵尸引用计数管理已完成的请求。性能提升取决于GPU速度和批次大小，在硬件速度越快、空泡期影响越显著的情况下，最高可获得35%的性能提升。
AI inference is obviously profitable18 days agohttps://www.seangoedecke.com/ai-inference-is-obviously-profitable/认为AI推理因成本高昂而不盈利的观点存在争议，有证据表明它实际上可以盈利。粗略成本估算显示推理成本约为每百万tokens 1美元，而GPT-5.4-mini收费4.50美元，这意味着利润率很高。像DeepSeek这样的开源LLM报告推理利润率超过80%，市场成本接近每百万tokens 0.87美元，这支持了盈利性。OpenAI和Anthropic等AI实验室可能利用高推理利润率补贴训练成本，这解释了它们定价较高的原因。即使主要AI实验室失败，没有训练成本的推理服务商仍可通过提供模型盈利，这表明推理业务具有可持续性。
GLM5.2 on AMD MI355X at 2626 tok/s/node at over 2x lower cost than Blackwell18 days agohttps://www.wafer.ai/blog/glm52-amdAMD MI355X GPU相比NVIDIA Blackwell B300显著降低了单GPU成本（约便宜2.75倍），为AI推理提供了经济高效的解决方案。Wafer在AMD MI355X上以2.4 RPS的请求速率运行GLM5.2模型，实现了2626 tok/s/节点的聚合吞吐量，以超过2倍的成本优势达到B200性能的80%，且单流解码速度为213 tok/s。优化措施包括使用AMD Quark将GLM-5.2量化为无损MXFP4格式、采用sglang作为推理框架、修复推测解码问题，并通过调优MoE内核来提升预填充性能。AMD在尖端模型的初期支持和软件适配方面仍面临挑战，但随着内核与模型优化的进步，性能差距正在缩小，降低了对定制内核的依赖。研究强调，在AMD平台上实现尖端性能日益取决于支持力度与优化水平，而非固有的软件限制，这标志着NVIDIA的CUDA优势正在逐渐消解。
Mesh LLM: distributed AI computing on iroh10 days agohttps://www.iroh.computer/blog/mesh-llmMesh LLM是一个分布式人工智能计算系统，它将多台机器上的GPU和内存汇集起来，呈现为一个与OpenAI兼容的统一API。该系统提供三种处理请求的方式：在本地GPU上运行、将请求路由至加载了模型的节点，或将大模型跨机器拆分为管道并行处理。系统使用iroh端点处理节点身份与网络连接，支持NAT穿透和中继备用机制，并维护两个中继服务器以确保开放互联网环境下的可靠性。通信基于QUIC的ALPN协商实现，针对网格管理、控制和拆分模型激活分别采用独立的协议。在主连接内部，各类流类型（如流言传播、HTTP隧道、路由查询）通过前导字节进行解复用，从而实现高效的端到端操作。用户可安装轻量级软件（约18MB）加入公共网格或部署私有网络，并通过localhost:9337/v1端口使用标准OpenAI客户端进行访问。
Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU6 days agohttps://www.neomindlabs.com/2026/06/08/running-gemma-4-26b-at-5-tokens-sec-on-a-...作者在一台没有 GPU 的 13 年历史双路 Xeon 服务器上成功运行了谷歌的 Gemma 4 26B 模型，解码速度达到了每秒约 5 个 token。该项目需要为 ik_llama.cpp 分支打补丁，以使其能在不支持 AVX2 指令集的 CPU 上运行，Claude AI 协助诊断并修复了模型图运算中存在的静默内核切换漏洞。修复包括编译时调整和运行时解决方法，以处理缺失的 AVX2 指令，使得旧硬件能够经济高效地运行现代 MoE 模型，作为一种本地备用方案。
Show HN: FlexInference LLM Router3 days agohttps://www.flexinference.comFlexInference是一项服务，它通过路由AI推理请求来在指定时间预算内寻找更便宜的选项。如果未找到更便宜的推理选项，请求将升级到标准层级且不产生额外费用；路由服务免费。用户使用自己的提供商密钥，并直接由提供商计费，FlexInference从节省的费用中抽取20%作为服务费。它支持OpenAI、Anthropic、Gemini，并集成了Amazon Bedrock和Google Vertex AI等平台。该服务通过不存储提示或回复，并使用信封加密技术保护密钥来确保数据隐私。它提供透明的错误处理、严格的参数遵循，并能通过SDK或直接API调用进行交互。通过MCP服务器，编码工具可以使用OAuth管理密钥和搜索文档，而无需处理原始密钥。由Adi创立，旨在通过降低成本及减少拖慢和限制推理的中间层来改进AI模型的使用权限。
Google just bet its inference future on a chip built for one model4 hours agohttps://thenewstack.io/google-frozen-gemini-chip/谷歌的Frozen v2芯片将Gemini架构的部分组件硬连线，同时保持权重可更新以避免过时。该芯片旨在每瓦特提供的令牌数量比当前谷歌AI芯片多6到10倍，有助于缓解AI计算压力。这代表向模型特定硅片的转变，类似于比特币挖矿从GPU到ASIC的演变。像Taalas、d-Matrix和SambaNova这样的竞争对手也在开发用于AI推理的专用硬件。这种方法在硬连线架构的超高效率与未来模型更新的灵活性之间取得了平衡。