工作描述:

1. 视频去除系统(获得微博年度项目创新奖)。针对微博用户存在大量的转发视频,进行去重。使用度量学习的

方法训练模型,对获取到图片向量,使用faiss库进行对比。

2. 基于文本内容的视频推荐。根据微博文本的特点,训练Bert模型,为用户推荐文本内容相似的视频。

3. 基于DEEPFM的视频推荐。把博主基本信息、视频物料信息、图像及文本特征等,输入到DEEPFM模型中进

行训练,预测有效播放数与曝光数的比值。排序后,选取其中的前1000个视频作为粗召回的结果。

4. 视频内容分类。为视频打标签,截取视频中的图像,使用TSM模型训练多标签分类任务。

5.LOGO检测。通过数据增强的方式获取训练集,使用YOLO模型训练并识别图像中不同厂商的LOGO。

6. 视频质量分析。对视频质量进行分析,分别用于推荐特征、下发视频、编码监控等场景,使用MetaIQA模型,

并添加Attention模块提高了算法的精度。

7. 视频编解码参数的预测(内容自适应编码CAE)。预测ffmpeg中的编码参数CRF,使用LightGBM进行训练,

模型预测编码后,视频能够达到预定的主观质量(VMAF=93)。

8. 图像智能调色。对用户发布的图片进行处理,使其颜色更加鲜艳,并对亮度过曝(或过暗)的区域降低(或提高)亮度,用DEEPUPE模型进行训练,使用MNN框架及自己实现操作算子的C代码,把其迁移到了移动端。

9. 视频质量增强。去除图像中的噪点同时,锐化图像的边缘,以及去除ffmpeg编码的块效应,使得视频的质量有