Google's AI Overviews spew false answers per hour, bombshell study reveals
2 days ago
- #Media Impact
- #AI Accuracy
- #Google Search
- 根据创业公司Oumi的研究，谷歌的AI概览功能每小时产生数百万条不准确回答。
- 该分析测试了Gemini 2和Gemini 3模型的4,326个结果，发现准确率分别为85%和91%。
- 考虑到数十亿的搜索量，这意味着每分钟会出现数十万条错误。
- 错误包括基本事实性失误，例如弄错了鲍勃·马利和迪克·德拉戈相关事件的日期。
- AI概览经常引用不可靠来源，如Facebook页面、博客文章和维基百科条目。
- 该功能容易被诱导传播虚假新闻，一个涉及捏造博客帖子的例子就证明了这一点。
- 模型间的引用问题恶化：'无依据'回答从Gemini 2的37%上升至Gemini 3的51%。
- 出版商批评谷歌未经补偿使用其内容，且缺乏事实核查监督。
- 谷歌质疑这项研究，指出基准测试存在缺陷，并对Oumi的方法论提出疑问。
- AI概览此前曾给出过奇怪建议，如在披萨酱中添加胶水或向儿童推广烟草。