OpenAI is huge in India. Its models are steeped in caste bias
8 months ago
- #Caste Discrimination
- #AI Bias
- #OpenAI
- OpenAI的模型（包括ChatGPT和Sora）表现出种姓偏见，强化了印度社会中的有害刻板印象。
- 使用印度偏见评估数据集的测试发现，GPT-5在76%的情况下选择刻板印象答案，将达利特种姓与负面描述关联，婆罗门种姓与正面描述关联。
- OpenAI的文生视频模型Sora同样复现了种姓刻板印象，将达利特种姓描绘为从事卑微工作，婆罗门种姓则处于高阶职位。
- Meta的Llama2等开源模型也显示出显著的种姓偏见，影响招聘等敏感场景。
- 研究人员呼吁对AI模型进行种姓偏见评估，部分团队已开发文化特异性基准如BharatBBQ。
- AI行业普遍忽视种姓偏见，更关注BBQ等以西方为中心的偏见评估框架。