Show HN: Hacker News archive (47M+ items, 11.6GB) as Parquet, updated every 5m
2 months ago
- #dataset
- #technology
- #hacker-news
- 该数据集包含2006年至今的完整Hacker News历史存档，每5分钟更新一次。
- 涵盖网站所有提交的故事、评论、Ask HN提问、Show HN展示、招聘帖和投票帖。
- 数据按日历月份组织为Parquet格式文件，实时更新以5分钟为区块存储。
- Hacker News是由Y Combinator自2007年运营的长期活跃且极具影响力的技术社区。
- 该数据集适用于研究分析、趋势追踪及语言模型预训练等用途。
- 常见分析指标包括故事评分、高频分享域名和活跃用户排行。
- 数据源自ClickHouse Playground平台，与官方HN Firebase API保持同步。
- 字段包含条目ID、类型、作者、时间戳、文本内容、URL链接、评分等维度。
- 本数据集采用开放数据共享署名许可协议(ODC-By) v1.0发布。