2x Qwen 3.5 on M1 Mac: 9B builds a bot, 0.8B runs it
3 months ago
- #local-llm
- #privacy
- #agentic-coding
- Qwen3.5模型在本地代理编码会话中表现高效，即使在6年前的M1芯片MacBook等老旧硬件上
- 使用OpenCode和LM Studio创建了一个Telegram机器人，可将消息转发至本地LM Studio的OpenAI兼容服务器
- 该架构采用较大模型(Qwen3.5 9B)处理编码任务，较小模型(Qwen3.5 0.8B)处理聊天响应
- 安装步骤包括配置OpenCode以本地化使用LM Studio，并安装必要的模型文件
- 提供了极简版Telegram机器人示例，演示如何将消息转发至本地大语言模型并返回响应
- 在M1芯片MacBook上运行速度较慢，但足以处理小型敏感离线任务
- 该方案非常适合需要隐私保护和离线功能的团队，但目前尚无法替代高端编程套件
- 未来在M4/M5芯片或高性能台式机上的测试可能会展现更佳性能