Training a model to identify AI-generated web content from structure alone
8 hours ago
- 词汇级别的检测器在改写后会失效，无法描述文本特征或识别AI模型。
- 提出使用结构特征进行检测：信息呈现方式、顺序、证据和语气。
- 在商业内容上复现StoryScope，使用了来自五个模型的2,250条人类帖子和11,250条AI镜像。
- 一个包含214个特征的工具，由LLM应用并经人类验证，仅从结构特征检测AI帖子，在留出公司数据上达到98.0 macro-F1。
- 即使每条AI帖子都被其自身模型改写，性能仍保持在98.1 macro-F1。
- AI帖子具有整洁的形态；79.3%被正确归因于源模型（随机概率为16.7%），而人类帖子则占据罕见的配置。
- 所有效应均复现StoryScope的结果，方向一致且幅度更大。
- 相关流程、工具、提示词、代码及聚合产物已发布。