LLM Classification Is Feature Engineering
3 hours ago
- 作为分类器的大语言模型通常校准不佳，使得精确率与召回率的权衡变得困难，并且它们无法可靠地利用所有可用信息或适应不同的基线。
- 不应将LLM的判断作为最终标签，而应将其视为标准机器学习模型（如逻辑回归）中的特征，这能改善校准并提供灵活性。
- 特征工程方法能自动校准预测，整合结构化特征，并通过训练数据适应不同人群；同时还提高了可解释性。
- 提示工程中的挑战可以通过将提示视为可学习特征来解决：利用训练数据、筛选特征、从LLM子判断或对数概率中添加特征，以及交换模型架构。
- 关于讽刺检测（SemEval 2018）的案例研究表明，一个简单的基于LLM的分类器超越了竞赛冠军（0.747 F1），而特征工程进一步提升了性能，在LLM特征上使用逻辑回归达到了最新最优结果。
- 关于利用LLM进行特征提取和自动化特征工程的研究日益增多，同时也有前景使用调查过程本身特征的智能体分类器。