TabFM: A zero-shot foundation model for tabular data
12 days ago
- #Tabular Data
- #Zero-Shot Learning
- #Foundation Model
- 谷歌发布TabFM，这是一个面向表格数据的零样本分类与回归任务的基础模型，无需手动训练和特征工程。
- TabFM利用上下文学习技术，将整个数据集作为提示词进行处理，在推理时学习数据关系，无需更新模型权重。
- 该模型采用混合架构，结合了TabPFN与TabICL的优势，以处理表格数据的二维、无序结构特点。
- 由于真实世界表格数据集的稀缺，TabFM通过在结构因果模型生成的数亿个合成数据集上进行预训练。
- TabArena基准测试显示，TabFM（拥有1B和3.1B参数两种配置）超越了传统监督学习方法（如XGBoost）和专用模型。
- TabFM将被集成到谷歌BigQuery中，用户可通过简单的SQL命令进行预测，无需机器学习专业知识。