Language Models for Text Classification: From Bag-of-Words to Jev
12 hours ago
- Jev 是一个快速且廉价的分类器，无需微调即可在各种任务上表现出色。
- 它提供了一个用户友好的API，具有Choice、Noul和Score端点，可满足各种分类需求。
- 本文追溯了文本分类的历史，从词袋模型和RNN到CNN以及BERT和GPT等Transformer模型。
- Jev的架构很可能是一个小型Transformer（类似于ModernBERT），使用强化学习校准决策（RLCD）在合成数据上进行训练。
- 讨论了概率校准问题，其中RLCR和Brier损失是提高置信度准确性的方法。
- Jev作为即插即用的分类器，在一次性或低量任务中表现出色，减少了对自定义微调或昂贵LLM的需求。
- 虽然存在许多快速的Jev克隆，但没有一个能匹及其性能广度；出于隐私和速度考虑，仍然需要一个强大的开放权重替代方案。