Nvidia on NixOS WSL – Ollama up 24/7 on your gaming PC
a year ago
- #LLM
- #WSL
- #NixOS
- 在游戏PC上使用WSL运行NixOS进行大语言模型实验
- 遇到的挑战包括VRAM锁定、WSL自动关闭和Nvidia支持问题
- 解决方案：Ollama自动卸载模型、保持WSL持续运行、配置Nvidia容器工具包
- NixOS系统级配置（含Tailscale网络设置）
- WSL环境安装NixOS及基础配置步骤
- 为WSL上的NixOS配置Nvidia容器工具包
- 搭建带Tailscale可选集成的Ollama Docker容器
- 针对Tailscale用户与非Tailscale用户的网络设置与测试
- 最终实现便捷的家庭大语言模型访问与实验环境