I wouldn't say Pangram is broken, but I would say that it's brittle
14 hours ago
- Pangram 会产生矛盾的结果：同一段文本可能根据上下文被标记为100%由AI生成或100%由人类撰写，形成一种‘俄罗斯套娃’式的不一致结果。
- 百分比指示器具有误导性，因为许多用户将‘100% AI’理解为高置信度，但实际上它表示被怀疑为AI生成的文本比例；该指示器还经常对混合文本输出100%。
- 误报很容易诱发：作者自己撰写的文本被Pangram以高置信度标记为100% AI，而AI生成的文本通过嵌入人类写作中可以显得像人类写的。
- 即使错误率很低（例如万分之一），当应用于大量文本时也会导致许多错误指控，尤其是当每个段落都成为一个独立测试时。
- 该工具的设计在作者中鼓励一种‘抓现行’的指控文化，利用了职业嫉妒和怨恨，而不是提供可靠的证据。
- Pangram的创始人承认了短文本片段的问题以及对抗性误报的不可避免性，但作者主张认识论上的谦逊，并警告不要将任何检测工具视为最终权威。