How Does a Blind Model See the Earth?
9 months ago
- #AI
- #LLMs
- #Geography
- 作者哀叹不完整地图的消失，这些地图曾体现个人视角与认知局限
- 描述了一项实验：通过向大语言模型(LLM)查询特定坐标点的陆地/水域属性，可视化其认知中的地球样貌
- 实验方法包括全球坐标采样、要求模型分类每个坐标点为'陆地'或'水域'，并将结果汇编成地图
- 测试不同LLM(如Qwen、DeepSeek、GPT、Claude、Gemini)时发现，它们的地理知识准确度与细节呈现存在显著差异
- 结果显示较大模型通常生成更准确的地图，某些甚至呈现惊人细节，而较小模型表现欠佳
- 作者指出基础模型与微调变体之间、稠密模型与稀疏模型之间的性能差异
- 实验引发关于LLM如何内部表征地理知识、以及训练方法如何影响这种表征的思考
- 未来研究方向包括探索基础模型表现、内部知识结构，以及混合专家模型(MoE)中的专家激活图谱