Compressed filesystems à la language models
6 months ago
- #LLMs
- #filesystems
- #compression
- 系统工程师常渴望编写一个文件系统，这比看起来要简单。
- 编码模型可以生成功能性的文件系统，这促使人们探索如何建模文件系统引擎本身。
- 创建了一个LoggingLoopbackFS，通过记录文件系统操作来生成微调数据。
- 使用文件系统交互模拟器生成多样化的FUSE提示/完成对。
- 使用文件系统状态的XML表示进行微调，达到了98%的准确率。
- 实现了一个最小的FUSE文件系统，操作通过LLM传递处理。
- 算术编码使LLM实现可逆压缩，取得了显著的压缩比。
- 微调后的模型在XML文件系统树上实现了更好的压缩，得益于'自压缩'效应。
- 对比显示，llmfuse在文本数据上的压缩效果比squashfs好约8倍。
- 该实验引发了关于LLM压缩技术实际应用和潜力的思考。