工作描述：主要负责移动电影院人工智能相关内容开发，包括多模态情绪识别，视频换脸。
项目经历：
①2019.9-2019.10 多模态情绪识别
项目描述：该项目为弹幕机器人，需要识别电影播放过程中画面内容的情绪，包括图像、对白以 及背景音乐（存在背景音乐时）。图像情绪识别采用MobileNetV2网络，对白以及音乐采 用librosa库提取mfcc特征，分类器有卷积层和全连接层组成。项目职责：算法训练、调参，数据搜集等。
②2019.11-2020.1 视频换脸
项目描述：在电影开场礼，采用视频换脸技术，替换视频中人脸。采用3D人脸重建技术，用户上传一张 图片，重建出相应3D shape并提取颜色空间。对于视频，逐帧重建出视频中人脸3D shape，结合参考 图的颜色空间，渲染出换脸后的图像。利用人脸分割以及关键点得到mask，更换mask区域人脸。对于 参考图存在遮挡，采用人脸分割方法，对于参考图戴眼镜，采用图像补全技术。3D重建采用PRNet，人 脸分割采用FCN，图像补全参考文章《Pluralistic Image Completion》。
项目职责：3D人脸重建网络调试、图像复原网络训练调参。

工作描述：在公司主要从事一款面向C端的AI camera算法开发工作，先后参与了人脸检测、图像去模 糊、表情识别、动作行为识别以及手势识别五个部分的算法开发，并在相关领域取得了一定的成果。
开发平台：Linux
开发语言：Python
项目经历：
①2019.5-2019.8 烟火检测
项目描述：该项目为面向消防类解决方案的特定算法研发，主要检测视频画面中是否有烟雾或者火焰出 现。烟火检测数据集为网络上搜集的数据集。采用的网络模型为YOLO-v3，框架为tensorflow。
项目职责：主要负责算法训练、调试，数据集搜集
②2019.2-2019.3 手势识别
项目描述：手势识别主要功能涉及到摄像机的关机以及危险报警，手势识别数据集为自采数据，网络架构为MobileNet-SSD，基于caffe进行训练，采用的数据集为VOCHand以及自己采集的数据，类别为两类，包括手掌以及背景。
项目职责：主要负责算法训练、调试，数据集搜集，对接前端。
②2018.9-2019.2 行为识别
项目描述：针对camera中家人关怀中涉及到的跌倒、久坐以及久卧需求，在TSN网络框架上训练上述三 类动作的模型。由于问题的特殊性，训练集样本数量较少，为了降低过拟合风险以及计算开销，对网络结构进行了裁剪。而我们关心的动作中有两类属于静态动作，浅层特征更具有代表性，所以把每 个inception模块的输出与下一个inception模块输出进行concat，保证精度的前提下提高了运行速度。
项目职责：数据集搜集、算法训练调参、网络结构修改。
③2018.5-2018.9 表情识别
项目描述：表情识别采用Xception网络架构，在Keras上实现，后期为了项目需求，将Keras版本转 为TensorFlow版本，算法训练了常用的七类表情。针对时光相册的需求，主要提取happy类，happy单 类准确率99%以上。训练好的表情识别算法转化为tf-serving，供云端开放平台调用。
项目职责：表情识别算法训练，算法封装以及算法转tf-serving并对接到云端。
④2018.1-2018.6 人脸检测算法优化
项目描述：相机中人脸检测采用mtcnn算法，网络属于轻量型，易于前端移植。mtcnn是基 于TensorFlow实现的，训练集包括widerface, celeba, alfw, megaface以及自己采集的数据集等，数据 集涉及到了遮挡、光照、角度等主要影响检出率的因素。多个数据融合，由于数据分布不同，在应用过程中中出现bbox位置偏移，通过调整网络中的参数可以有效的解决，Baseline检出率达到99%以上。同时为了提高网络计算速度，用卷积层替换掉全连接层。
项目职责：数据集搜集、对接第三方标注公司以及算法训练调参。
⑤2017.11-2018.6 图像去模糊及图像挑选
项目描述：通常情况下，人脸识别准确率与图像质量密切相关，特别是模糊的图像对识别率的影响是线性 的，为了提高AI camera识别率需要对图像进行去模糊操作。项目中采用DeblurGAN算法，基于PyTorch框架实现，可以有效的提高图片的分辨率，提高模糊人脸的识别精度。对于得到的图片进行筛选，筛选所 采用的指标为smd2和laplace梯度，同时利用姿态估计得到的人脸角度，挑选出最清晰人脸，供人脸识别 训练用以及APP端报警消息封面。
项目职责：独立完成图像去模糊及图像挑选对接到云端。
⑥2017.9-2017.11 数据增强调研及算法评估
项目描述：调研数据增强方法；虹软人脸识别算法性能以及可用性评估；评估C++版本和Python版 本Caffe实现MTCNN的效率。
项目职责：数据增强方法实现及评估相关算法 常用框架：TensorFlow，Caffe，PyTorch， Keras。