2 months ago
- 自托管LLM提供隐私保护、节省成本且不依赖外部公司，数据本地处理且无需订阅费用。
- 作者利用Radeon AI Pro R9700 GPU构建了一台AI内容生成设备，通过Thunderbolt 3将eGPU扩展坞连接至旧款Thinkpad笔记本，用于运行Qwen 3.6 27B模型。
- 在llama.cpp框架下性能表现包括预填充阶段507-814 TPS，解码阶段28-33 TPS，支持最大13.1万令牌的超长上下文窗口。
- 该系统部署为可通过SSH远程访问的服务器，保持客户端笔记本电脑低温且便携，但需依赖稳定的网络连接。
- AI智能体协同参与系统调优与配置，在共享工作空间管理各项任务，并持续进行改进与实验。
- OpenRouter平台的数据隐私问题显示部分服务商会保留并转卖用户数据，促使作者转而使用价格更高的'零数据保留'方案。