Foundation Model for Personalized Recommendation
a year ago
- #machine-learning
- #recommendation-systems
- #foundation-models
- Netflix的个性化推荐系统结构复杂，包含多种专用模型，导致维护成本高且创新成果难以迁移
- 推荐基础模型通过集中学习会员偏好，提升了不同模型间的知识共享与实用价值
- 该模型通过共享权重或嵌入向量，大规模吸收会员综合互动历史和内容信息进行知识分发
- 受大语言模型(LLM)启发，基础模型实现从模型中心化到数据中心化的范式转变，采用半监督学习
- 用户交互的标记化处理有助于定义有意义的行为事件，在数据粒度与序列压缩间保持关键细节平衡
- 稀疏注意力机制和滑动窗口采样技术扩展了上下文窗口，确保模型接触用户历史的不同区段
- 交互标记包含异构特征，包括行为属性和内容信息，被组织为请求时特征与行为后特征两类
- 模型采用自回归的下一个标记预测目标，通过多标记预测等改进方法和辅助目标提升准确性
- 独特挑战包括实体冷启动问题，通过增量训练和结合元数据的未知实体推理方案解决
- 下游应用场景包括：直接作为预测模型使用、嵌入向量应用、特定数据微调三种方式
- 基础模型扩展涉及健全评估体系、高效训练算法和充足算力资源，遵循LLM的成功原则
- 该基础模型构建了统一的数据中心化系统，提升推荐质量并解决冷启动和呈现偏差等难题