ai detection

双语

Substackers Say New AI Detection Tool Is a 'Witch Hunt'
2 months ago
- Substack新推出的AI检测功能遭到创作者们的强烈反对，他们视其为一场'猎巫行动'，并担心遭到不实指控。
- 一些借助AI进行写作的创作者认为，AI能提升他们的写作质量，因此拒绝为使用AI道歉。
- 批评者指出，Pangram等AI检测工具并不准确，可能因误判导致声誉受损，尤其对非母语者和神经多样性写作者影响更大。
- Substack首席执行官克里斯·贝斯特声称，该工具旨在提高透明度而非惩罚AI使用，并提供了'我是如何创作这篇文章'的声明以供披露。
- 该功能的支持者认为这是对抗未标注AI生成内容（'劣质内容'）的有效手段，但反对之声凸显了平衡检测与创作者信任的挑战。
Professor Created a Trap in His Midterm to Catch Students Using AI
2 months ago
- Dr. Jason Gibson of Alcorn State University planted the hidden word 'Madagascar' in white font within an exam prompt to catch students using AI to generate essays without proofreading.
- 32 out of 35 students failed the midterm section because their AI-generated responses included the hidden word, revealing they had copied directly from a chatbot.
- Gibson's TikTok videos about the trap went viral, sparking debate on AI's role in education, with some praising his integrity lesson and others criticizing the tactic.
- Only two students appealed the grades, and one had her grade changed because dark mode made the white text invisible on her screen.
- Gibson emphasized his goal was not to fail students but to highlight the issue of students outsourcing learning, as many responses contained nonsensical AI-generated phrases.
I'm So Tired of "Is This AI?"
2 months ago
- AI检测不可靠，容易被操纵，且经常误报。
- 如今AI生成的内容已超越人类创作，使得检测变得毫无意义。
- 使用AI的意图比检测更重要——粗制滥造是不好的，辅助编辑是可以接受的。
- Substack与Pangram在AI检测方面的合作可能导致公众的‘猎巫行动’和不公平的针对。
- 重点应放在内容的价值和趣味性上，而不是是否使用了AI。
- AI检测器无法衡量努力、思考或编辑，只能检测AI的存在。
I wouldn't say Pangram is broken, but I would say that it's brittle
2 months ago
- Pangram 会产生矛盾的结果：同一段文本可能根据上下文被标记为100%由AI生成或100%由人类撰写，形成一种‘俄罗斯套娃’式的不一致结果。
- 百分比指示器具有误导性，因为许多用户将‘100% AI’理解为高置信度，但实际上它表示被怀疑为AI生成的文本比例；该指示器还经常对混合文本输出100%。
- 误报很容易诱发：作者自己撰写的文本被Pangram以高置信度标记为100% AI，而AI生成的文本通过嵌入人类写作中可以显得像人类写的。
- 即使错误率很低（例如万分之一），当应用于大量文本时也会导致许多错误指控，尤其是当每个段落都成为一个独立测试时。
- 该工具的设计在作者中鼓励一种‘抓现行’的指控文化，利用了职业嫉妒和怨恨，而不是提供可靠的证据。
- Pangram的创始人承认了短文本片段的问题以及对抗性误报的不可避免性，但作者主张认识论上的谦逊，并警告不要将任何检测工具视为最终权威。
Scanning for Pangram Errors
2 months ago
- Pangram是一款声称误报率仅为万分之一的人工智能检测工具。
- 作者对45本从未数字化过的旧书中的290万字进行了Pangram测试，以检查其对训练数据的记忆情况。
- 除OCR（Mistral）产生幻觉文本的部分外，Pangram未将任何人类书写的文本标记为AI生成（误报），而Pangram正确地将这些幻觉文本识别为AI生成内容。
- 结果表明Pangram并非简单地记忆训练集，而是能够检测AI写作模式。
- 在使用Pangram进行重要决策时，建议进行人工复核，因为该工具本身并非万无一失。
Substack's new tool tells you who's been writing their newsletters with AI
2 months ago
- Substack推出了一项AI检测功能，利用Pangram来估算一篇文章有多少比例是人工撰写、多少比例由AI生成。
- 短期内，这可能会因揭露AI撰写的新闻信而损害信任，但从长远来看，它可能有助于维持内容质量和用户信任。
- 该功能是平台（包括社交媒体和音乐流媒体服务）对AI生成内容进行标注这一更广泛趋势的一部分。
- Substack首席执行官克里斯·贝斯特对该工具表示支持，并强调困难的部分——值得阅读的想法——应保持由人类完成，而软件处理其余工作。
- 该检测功能适用于超过100个字符的文章、笔记、回复和评论，作者可以选择添加一份可选的AI作者注释。
- 该工具并非惩罚性措施；它鼓励透明度，并允许发布者扫描草稿并报告错误。
"No AI" Statements Are More Than Mere Statements
2 months ago
- 作者认为'无AI'声明是必要且有用的，不同意一篇帖子所声称的观众应区分人类与AI内容，并且仅凭质量/风格就足够的主张。
- 手工和人造标签在AI出现之前就已存在，因为消费者无法可靠地区分机器制造与手工产品，AI生成的内容也是如此。
- 质量、风格和语气并非人类创作的可靠指标，因为AI可以模仿它们；无论感知质量如何，人类的努力都是有价值的，并且有些作品（例如技术写作）缺乏独特风格却仍然有价值。
- 作者的个人经验表明，观众和AI检测器经常错误地将人类撰写的内容标记为AI生成，这使得明确标签成为必要。
- 声明'无AI'是一种立场，表明创作者重视人类努力和创作过程，它支持透明度和对人类创作成果的自豪感。
- 创作过程本身是有意义且不可替代的，创作者应披露其使用AI的情况，以显示对人类努力的支持。
Against Claudefishing – AI detection feature on Substack
2 months ago
- Substack 正在与 Pangram 合作推出一项功能，用于检测 AI 生成的文本，旨在维护人类创作的真实性。
- 问题不在于 AI 的使用本身，而在于读者期望与现实之间的错位，尤其是当读者在不知情的情况下接触 AI 内容时。
- Substack 正在引入透明度工具，包括一项检测扫描功能以及为创作者提供的“我是如何制作的”声明。
- 该功能已在网页和 iOS 平台上可用，Android 版本即将推出；未来计划包括针对 AI 内容的可定制偏好设置。
- 这篇文章突出了一个争议：检测工具有助于提高透明度，但可能变成一种纯度测试，因为 AI 辅助写作仍可以包含人类的创造力。
Over 30% of new ArXiv submissions now read as AI-written
2 months ago
- 一项研究使用校准检测器，在ChatGPT之前的人类文本上具有0.4%假阳性率，测量了arXiv论文中AI撰写的文本比例。
- 约三分之一（32%）2023-2026年间的近期arXiv论文读起来像是机器撰写的，其中2026年初达到接近39%的峰值，显示出ChatGPT之后显著上升的趋势。
- 领域分析揭示了广泛差异：计算机科学以65%的检出率高居榜首，而数学仅为0.7%垫底，部分原因在于检测器对符号密集文本的识别限制。
- 研究局限性包括各领域控制样本量较小、检测器可能存在盲区（尤其在数学领域）、以及无法区分重度AI辅助与完全AI生成内容。
- 该检测器提供了AI采用率的下限估值；由于未能完全覆盖作者使用的多样化模型和提示词，报告中的普及率数据属于保守估计。
How Does Pangram Work?
2 months ago
- 全拼模型是一种通过分析写作风格模式来区分AI生成文本与人类写作的分类器模型。
- 它通过映射写作风格运作，将风格相似的作者置于相近位置；在这张地图上，AI文本与人类文本会形成明显不同的聚类。
- 全拼模型评估的是整篇文本而非单个词语，避免了基于困惑度的检测器常将历史文献误判的缺陷。
- 训练过程通过将人类写作文本与AI生成的复本配对，以优化检测能力，专注于细微的风格边界。
- 该模型需要达到最低字数要求才能保证准确性，其性能已通过内部基准测试和第三方测试进行了统计学验证。
Detecting LLM-Generated Texts with “Classical” Machine Learning
2 months ago
- 截至2026年初，主流LLM生成的文本展现出强烈的统计模式，可被传统机器学习模型检测出来。
- 一个在线演示使用简单的SVM分类器，基于人类和LLM生成的数据进行训练，实现了约85%的单句准确率。
- 数据收集自2022年前的人类文本，以及通过Gemini、Qwen、GLM等多个低成本/免费API由LLM重新生成的摘要。
- 训练了七个二元分类器，采用多数投票方式；检测对翻译或重写提示等常见反检测方法保持鲁棒性。
- 在未见过的模型和人类文本上测试显示误报率较低；对Lofter内容的分析表明存在大量未公开的AI生成材料。
- 作者对LLM的创造力持怀疑态度，认为AI生成内容重复且肤浅，并反思AI滥用的更广泛影响。
Probably the best AI detector tool is ready
2 months ago
- AI文本检测器通过分析语言模式来检测AI生成的文本，准确率高达99.5%，并为每个判定展示推理过程。
- 功能包括闪电般快速的结果（10秒以内）、无限次检测、采用成熟技术的实时语言分析、支持超过10种AI模型的检测，以及通过加密非永久数据传输实现100%隐私保护。
- 提供逐句颜色编码分析和PDF报告，内含高亮显示和方法论解析。
- 专为教育工作者、内容创作者和企业设计，用于验证真实性并维护诚信；包含透明、可随时取消的定价计划。
- 来自学生、教授、作家和编辑的用户评价赞扬了其准确性、低误报率以及在学术和职业场景中的实用性。
- 基于同行评审的科学方法，运用斯坦福大学和加州大学洛杉矶分校等机构的指标，如困惑度（AI文本较低）、突发性（句子变化）和熵（句法复杂性）。
- 有助于防止语言模型崩溃和机器生成内容的稀释；包含研究人员关于检测工具重要性的引述。
- 常见问题解答中解释检测器是一种通过语言指标分析文本以区分人类与AI写作的工具，受数千用户信赖，并提供批量扫描和API访问的高级升级选项。
Show HN: How clanker are you? A reverse Turing test
3 months ago
- 一个名为“How clanker”的工具通过分析Twitter（X）的帖子来衡量某人写作的AI相似度（可预测性）。
- 该工具提取用户最近的帖子，排除转推和回复，并根据每个词在语言模型下的意外度（可预测性）进行评分。
- 低意外度（高可预测性）会得到一个“clanker”（类AI）分数，而高意外度则表明写作更接近人类风格。
- 该方法使用语言模型的对数概率，并将分数与基线进行归一化处理，总体分数反映了最接近模型的评估结果。
- 在演示模式下，分数使用确定性的模拟器而非真实模型计算，该工具被定位为趣味用途，并非对个人的评判。

ai detection

Substackers Say New AI Detection Tool Is a 'Witch Hunt'

Professor Created a Trap in His Midterm to Catch Students Using AI

I'm So Tired of "Is This AI?"

I wouldn't say Pangram is broken, but I would say that it's brittle

Scanning for Pangram Errors

Substack's new tool tells you who's been writing their newsletters with AI

"No AI" Statements Are More Than Mere Statements

Against Claudefishing – AI detection feature on Substack

Over 30% of new ArXiv submissions now read as AI-written

How Does Pangram Work?

Detecting LLM-Generated Texts with “Classical” Machine Learning

Probably the best AI detector tool is ready

Show HN: How clanker are you? A reverse Turing test