HackerRank open sourced its ATS. My resume scored 90/100. Oh wait 74. No – 88
14 days ago
- #LLM
- #ATS
- #Hiring
- HackerRank发布了一款开源ATS（申请人追踪系统），该系统使用大语言模型为简历打分，满分为100分。
- 用同一份简历测试该ATS系统时，得分出现了极大的不一致（例如从66分到99分），导致招聘结果严重依赖运气而非实力。
- 该评分系统会为开源贡献、个人项目、工作经验和技能等类别加分，但对项目和经验的评估缺乏一致性和清晰的评分标准。
- 基于大语言模型的评估在处理主观判断（如项目质量）时表现出高度波动性，而技术技能等客观标准则保持相对稳定。
- 作者警告，AI筛选工具可能会基于随机波动而非真实质量来筛选候选人，这可能让经验丰富但开源或项目曝光度不足的工程师处于不利地位。