I wanted to run my own AI. My laptop says not yet3 days agohttps://marcioflorindo.com/renting-most-of-my-intelligence.html用户希望获得一个私密、离线的AI助手，但面临硬件限制，24GB内存不足以运行强大的模型。系统开销会减少可用内存，用户必须在弱模型和更智能但会增加机器负担的模型之间做选择。由于AI数据中心的需求，内存和存储价格上涨，硬件升级成本高昂。尝试了多种本地AI软件（Pi、OpenCode、Hermes），但瓶颈仍然是模型和内存。更多...
<antirez>5 days agohttp://antirez.com/news/165DwarfStar 4 (DS4) 迅速流行起来，因为发布了一个准前沿模型，该模型足够大且快速，适合本地推理，并结合了非对称的2/8位量化设置，可在96-128GB内存上运行。该项目利用了本地AI运动和GPT 5.5的经验，通过适当的LLM交互技能，实现了快速开发（一周）。作者上周平均每天工作14小时，类似于Redis早期，但正常平均是4-6小时。DS4不是一个一次性项目；它将发展使用最佳的开源权重模型，该模型在高性能Mac或像DGX Spark这样的'盒中GPU'设置上实际运行快速。更多...
Agent swarms are great for local AI11 days agohttps://jonready.com/blog/posts/agent-swarms-are-great-for-local-ai.html本地运行编码代理需要昂贵的显存（例如 NVIDIA 5090 或 2×3090 显卡）才能获得不错的表现。单流开发大约每秒处理2000个输入token和150个输出token，在OpenRouter上使用Qwen 3.6每小时成本约0.80美元。代理集群（例如32个并发代理）会大幅增加token消耗，但与API费率相比，也使本地LLM硬件的成本效益变得显著。成本对比：本地硬件集群每小时电费约0.11美元，而OpenRouter为7.06美元，Sonnet 5则为89美元。更多...
Local, CPU-Friendly, High-Quality TTS (Text-to-Speech) with Kokoroa month agohttps://ariya.io/2026/03/local-cpu-friendly-high-quality-tts-text-to-speech-with...现在可以在不牺牲隐私的前提下实现逼真的本地文本转语音（TTS）。Kokoro，一个拥有8200万参数的模型，能以约50种语音生成多种语言的高质量语音，并针对英语进行了优化。通过使用预制的容器镜像（Kokoro-FastAPI）进行设置非常简单，该镜像包含一个Web用户界面和一个兼容OpenAI的API。语音合成可以在CPU上高效运行，性能因处理器而异（例如，在AMD锐龙7 8745HS上耗时约1.5秒）。更多...