An LLM is a lossy encyclopedia
9 months ago
- #AI Limitations
- #LLM
- #Knowledge Compression
- 大语言模型常被比作有损压缩的百科全书，因其压缩存储的知识可能导致细节丢失。
- 关键在于区分大语言模型能准确回答的问题类型与那些会受信息损耗影响准确性的问题类型。
- 具体案例表明，除非提供正确数据，否则大语言模型可能无法知晓极其冷门的信息。
- 解决冷门查询的方法是向大语言模型提供必要的背景事实作为推理基础。
- 近期文章聚焦文化活动及大语言模型相关议题，包括提示词注入攻击和性能不一致现象。