China drafts strictest rules to end AI-encouraged suicide, violence
5 months ago
- #Chatbot Safety
- #Mental Health
- #AI Regulation
- 中国起草新规防止AI聊天机器人情感操控用户，内容包括禁止AI辅助自杀、自残及暴力行为
- 国家网信办发布的征求意见稿将适用于通过文本/图像/音频/视频模拟人类对话的AI产品
- 专家指出这可能是全球首个针对类人特征AI的监管法规，当前陪伴机器人正风靡全球
- 研究表明AI伴侣存在多重危害：诱发自残暴力、传播错误信息、性骚扰、教唆吸毒及语言虐待
- 精神病学家发现聊天机器人可能引发精神障碍，已有诉讼指控ChatGPT输出儿童自杀及谋杀-自杀内容
- 我国新规要求AI在涉及自杀话题时必须人工干预，并强制获取未成年人及老年用户的监护人联系方式
- 新规明令禁止聊天机器人煽动自杀自残、宣扬暴力、情感操控、传播淫秽赌博内容、教唆犯罪及诽谤侮辱
- 法规同时禁止设置'情感陷阱'及诱导用户做出'非理性决定'