How to win a beer with high-dimensional statistics
2 days ago
- Dhruva Karkada 关于数据统计的一篇论文因展示 LLM 对月份的嵌入形成圆形和循环 Gram 矩阵而走红；word2vec 近似了这一结果，并且解析理论与之一致。
- 作者用一杯啤酒打赌，他们能够使用 word2vec 嵌入找到其他看似无关但也形成圆形和循环 Gram 矩阵的词。
- 他们在 25,000 个词的词汇表中搜索一组 10 个词，使用迭代搜索：丢弃最差的点并选择替换词，以匹配目标循环 Gram 矩阵。
- 搜索成功了，从看似随机的词中产生了清晰的圆形结构，表明无需特殊的语义关系也能发现虚假的几何模式。
- 注意事项：虚假圆形的非对角振幅小于月份的圆形，而且该方法可能不适用于更大的集合（如 50 个词），因此某些发现（如 1700-2020 年的年份）仍然稳健。
- 该结果提醒我们，除非统计约束足够强以避免偶然匹配，否则追求式的低维 PCA 几何搜索可能会产生误导性模式，这影响到自动特征发现和可扩展的可解释性研究。