Scanning for Pangram Errors
6 days ago
- Pangram是一款声称误报率仅为万分之一的人工智能检测工具。
- 作者对45本从未数字化过的旧书中的290万字进行了Pangram测试，以检查其对训练数据的记忆情况。
- 除OCR（Mistral）产生幻觉文本的部分外，Pangram未将任何人类书写的文本标记为AI生成（误报），而Pangram正确地将这些幻觉文本识别为AI生成内容。
- 结果表明Pangram并非简单地记忆训练集，而是能够检测AI写作模式。
- 在使用Pangram进行重要决策时，建议进行人工复核，因为该工具本身并非万无一失。