设计和搭建用户实时匹配场景的推荐系统,包括系统架构设计、用户画像策略和算法模型结构设计、实现abtest模型效果评估能力等。
定时采集用户视频数据到hive和hbase中,基于采集的用户视频数据制作离线样本和用户画像,将金币消耗作为衡量指标,区分正负样本和权重。
利用flink监听binlog,收集用户实时特征更新处理后写入redis。
设计基于用户匹配的打分模型,采用tf2.0开发模型,利用6000w的训练样本数据进行训练,500w验证样本调参,500w测试样本进行效果评估,离线auc0.9+。
模型上线后每2~3天迭代一次,平滑20天数据定时更新模型。