Show HN: Pulpie – Models for Cleaning the Web
6 days ago
- #content-cleaning
- #web-extraction
- #efficient-models
- Pulpie是一系列用于从HTML页面提取主要内容的帕累托最优模型，以显著更低的成本实现了接近顶尖的质量水平。
- 最小的模型Pulpie Orange Small（2.1亿参数）匹配了Dripper的提取质量（ROUGE-5 F1为0.862 vs 0.864），但体积小了三分之二，速度更快（在L4 GPU上为13.7 vs 0.68页/秒）。
- 成本节约显著：在L4 GPU上清理10亿个页面，使用Pulpie花费7,900美元，而使用Dripper则需159,000美元。
- Pulpie采用编码器架构，在单次前向传播中标记所有HTML块，使其受计算限制，比基于解码器的提取器（如Dripper，受内存带宽限制）更快。
- 训练过程包括从Common Crawl创建数据集，用DeepSeek V3.2标记块，并通过知识蒸馏将21亿参数的教师模型蒸馏到更小模型（2.1亿和6.1亿参数）。
- Pulpie在不同难度级别上表现良好，在困难页面上启发式方法退化较少，并通过将块分割成8,192个标记的片段更好地处理长页面。
- 模型已在Hugging Face上开源，安装和使用简便，支持单页和批量处理，建议在生产环境中使用Pulpie Orange Small。
- 干净的提取通过减少噪声，既改善了预训练（例如，在AICC研究中准确率提升1.08%），也提升了推理性能，突显了高质量网络数据的重要性。