MDST Engine: run GGUF models in the browser with WebGPU/WASM
3 months ago
- #LLM
- #WebGPU
- #LocalInference
- MDST将GGUF格式引入WebGPU，实现在浏览器中无需依赖云服务的本地大语言模型推理。
- GGUF格式因支持多种量化方案及在消费级设备上的易用性而广受欢迎。
- MDST是一款免费、安全的协作式集成开发环境，兼具云端与本地智能体推理能力。
- 核心功能包括实时项目同步、端到端加密，以及用于性能测试的公开WebGPU排行榜。
- 支持多类云端及本地大语言模型框架，并计划持续扩展生态。
- WebGPU的卓越性能与GGUF的简洁特性，使得在普通硬件上实现浏览器本地推理成为可能。
- 欢迎社区贡献代码与反馈意见，共同推动未来优化方向。