Do you put rules or examples in your LLM context?
a day ago
- #SQL Generation
- #LLM Context Optimization
- #Example Libraries
- 推导距离是指大语言模型需要经过多少转换和组合操作，才能从给定事实得出答案。
- 上下文完整性至关重要；缺少业务规则会导致效果不佳。
- 添加完整示例库可显著提升小模型（如Haiku）的准确率（例如从70%提升至82%）。
- 更强模型（如Opus）只需最少上下文即可表现出色（例如用完整的英文描述达到98%）。
- 一致性比数量更重要；矛盾会抵消额外上下文带来的优势。
- 覆盖多种查询模式的广泛示例库比少数相关示例更有效。
- 示例库的作用在于提供可复用的解决路径，并消除模糊问题的歧义。
- 成本考虑包括令牌使用量、模型定价，以及为避免不一致性所需的维护工作。