An independent evaluation of TabFM, Google's tabular foundation model
6 days ago
- #Reproducibility
- #Benchmarking
- #TabFM
- TabFM在小到中等规模的数据集上，在零样本设置下表现优于经过Optuna调优的XGBoost。
- 多种子检查因测量噪声导致两场微弱胜利被降级为平局。
- 在调整XLA分配器伪影后，GPU内存占用约为16.95 GB，而非22.75 GB。
- 已识别、修复并合并到主仓库中一个导致多GPU系统崩溃的错误。
- CPU运行较慢但能处理更多数据，而GPU可提供14倍至42倍的速度提升。
- 折叠匹配比较、噪声测量和独立测试对于可靠的基准测试至关重要。