From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning
a year ago
- #Natural Language Processing
- #Cognitive Science
- #Artificial Intelligence
- 人类通过语义压缩将知识组织为紧凑的类别，在抽象多样化实例的同时保留核心意义
- 大语言模型(LLMs)虽展现语言能力，但在压缩度与语义保真度的平衡策略上与人类存在差异
- 研究引入新颖的信息论框架，用于系统比较人类与LLMs的知识表征策略
- LLMs能形成与人类判断一致的概念范畴，但在细粒度语义区分上表现欠佳
- LLMs倾向于激进的统计压缩，而人类更注重适应性的语义细微差别与语境丰富性
- 研究结果揭示了AI与人类认知架构的关键差异，为改进LLMs的概念表征提供了方向