EyesOff: How I built a screen contact detection model
6 months ago
- #privacy
- #machine-learning
- #computer-vision
- 作者构建了一个名为EyesOff的自定义模型，用于检测是否有人正在窥视你的屏幕，以防止肩窥攻击。
- 由于缺乏现成的数据集，作者手工标注了超过20,000张图像，并为预训练创建了合成的视线标签。
- 最初考虑了Eye-Contact-CNN、MediaPipe和视线检测模型等方法，但由于各种原因被认为不合适。
- 作者开发了一种两阶段训练方法：第一阶段涉及在视线回归任务上进行预训练，第二阶段对模型进行微调以用于屏幕接触分类。
- 一个关键挑战是数据不足，这促使作者从视频会议数据集（VCD）和YouTube视频等来源创建了自定义数据集。
- 最终模型在近距离和中距离范围内达到了约71%的准确率，表现最佳的是在扩展数据集上训练的模型。
- 未来的改进包括收集更多数据、减小模型大小，以及可能采用双模型方法进行近距离和远距离检测。