Show HN: Webclone.js – A simple tool to clone websites
3 months ago
- #command-line-tool
- #offline-browsing
- #web-archiving
- WebClone.js 是一个用于创建网站离线存档的命令行工具。
- 它能爬取网站、保存页面和资源、重写链接并下载视频。
- 开发初衷是为了解决传统工具（如wget）的功能局限性。
- 核心功能包括完整网站存档、链接重写和视频下载。
- 支持通过交互式登录或cookie文件进行身份验证。
- 高度可配置，可设置爬取深度、并发数和范围等参数。
- 使用puppeteer-extra增强隐蔽性和鲁棒性。
- 通过自动滚动页面支持懒加载内容。
- 需要Node.js 18+环境，视频下载需额外安装yt-dlp和ffmpeg。
- 安装方式为克隆仓库后安装依赖项。
- 使用示例涵盖基础存档、私有站点存档和视频下载场景。
- 命令行选项支持精细化配置。
- 基于MIT许可证开放贡献。