Learning to Replicate Expert Judgment in Financial Tasks
10 days ago
- #AI Training
- #LLM Fine-tuning
- #Financial Judgment
- 跑赢市场之所以具有挑战性，是因为它需要基于投资者判断的独特洞察，而这种判断力难以直接阐明或传授。
- 大型语言模型在筛选和处理文档等简单的财务任务上表现不佳，尽管这些任务对投资者来说是常规工作。
- 这篇文章探讨了利用大型语言模型实现信息筛选自动化，并指出通过专家标注，专用模型可以达到专家级别的判断水平。
- 前沿模型（如Gemini、Claude、GPT）在六项筛选任务中表现欠佳，准确率约为50-80%，低于80%的可信度阈值。
- 改进提示词将准确率提升至75%左右，但进一步的提升需要通过高质量人工标注数据进行微调。
- 通过专家验证纠正非专家标注，构建了定制训练数据集，从而提升了数据质量。
- 训练方案以Qwen3-235B为基础模型，采用了交错批处理、带非对称剪裁的CISPO损失以及策略内蒸馏等技术。
- 最终的专用模型达到84.7%的准确率，比前沿模型减少了29.8%的错误，并将推理成本降低了13.8倍。
- 结论强调，根据组织需求定制的模型在准确性和成本上优于前沿模型，从而实现了差异化的智能能力。