- 用户希望获得一个私密、离线的AI助手,但面临硬件限制,24GB内存不足以运行强大的模型。
- 系统开销会减少可用内存,用户必须在弱模型和更智能但会增加机器负担的模型之间做选择。
- 由于AI数据中心的需求,内存和存储价格上涨,硬件升级成本高昂。
- 尝试了多种本地AI软件(Pi、OpenCode、Hermes),但瓶颈仍然是模型和内存。
- 用户不信任本地模型处理重要任务,仍依赖云端进行关键判断。
- 一个成功的本地使用案例:使用混合专家模型(Gemma)快速且私密地分析职位广告。
- 结论是,完全本地化AI尚未实现,但希望未来有所改进;目前仅有一个本地工作流程。