The Unreliability of LLMs and What Lies Ahead
a year ago
- #AI
- #LLMs
- #Startups
- 大语言模型（LLMs）本质上不可靠，这限制了其实际应用价值
- 即使在明确定义的任务中，LLM的可靠性问题依然存在，多步骤操作或自主性场景下会进一步恶化
- 顶尖LLM的幻觉发生率约为50%，因此不适合高风险应用场景
- 代码生成是LLM相对成熟的应用场景，但实现99%正确率仍具挑战性
- LLM对输入极其敏感，细微的提示词变化可能导致输出天差地别
- LLM的对齐问题凸显了其在代理应用中的不透明性和潜在风险
- 由于错误率的叠加效应，中短期内难以显著提升LLM的可靠性
- 开发者可通过聚焦自主策略或人机协同策略来应对LLM的不稳定性
- 自主策略追求确定性输出或'足够准确'的结果而无需用户验证
- 人机协同策略需要终端用户验证或供应商层面的质量控制
- 成功的AI产品必须预判LLM的失效可能，并设计容错系统
- Verissimo风投专注于企业软件领域，重点投资AI和科技初创公司