Jennifer Aniston and Friends Cost Us 377GB and Broke Ext4 Hardlinks
a day ago
- #file-storage
- #hardlink-limit
- #backup-optimization
- Discourse的安全上传功能会创建重复文件以确保安全，但这导致了存储空间的大量膨胀。
- 使用硬链接进行去重复化修复时遇到了ext4文件系统中每个inode最多65,000个硬链接的限制。
- 一张詹妮弗·安妮斯顿的表情动图被重复了246,173次，仅备份存储就占用了377 GB的空间。
- 备用机制确保了备份能够完成，但由于硬链接限制，性能表现不尽人意。
- 改进后的方案能动态检测文件系统限制，并在达到限制时复制文件，从而提高了系统的鲁棒性。