Using Local Coding Agents – By Sebastian Raschka, PhD
8 days ago
- #open-weight-llms
- #coding-harnesses
- #local-coding-agents
- 一篇关于使用开源工具和开放权重大语言模型（LLM）搭建本地编程智能体替代Claude Code、Codex等专有服务的教程。
- 本地部署具有透明度高、可审查性、成本固定（除硬件和电费外）以及用户完全控制等优点，并允许修改代码执行环境。
- 核心组件：作为推理引擎的本地部署LLM（例如Qwen3.6 35B-A3B或North Mini Code），以及提供操作环境的代码执行器（如Qwen-Code、Codex、Claude Code）。
- 搭建过程涉及使用Ollama实现高效的本地模型服务，包括下载模型、配置终端节点以及通过自定义提供商连接到Qwen-Code等代码执行器的步骤。
- 安全考量包括审计智能体代码库是否存在数据外泄、文件权限和提示注入等风险，并通过设置（如禁用遥测功能）进行缓解。
- 建议通过基准测试和个人任务集进行性能评估（速度和能力）以判断模型适用性，其中Qwen3.6和North Mini Code表现良好。
- 执行器对比显示Claude Code比Codex消耗更多令牌，但所有执行器均可与本地模型配合使用；Codex在某些场景下可能提供更优性能。
- 高级部署方案包括在独立机器（如DGX Spark）运行模型并通过SSH隧道访问，或使用云端托管的开放权重模型作为替代方案。
- 结论：本地开放权重模型（30-35B规模）已具备处理多种任务的能力，执行器选择可基于个人偏好和使用习惯决定。