算法研究院
工作概述:
在人脸组负责人脸关键点和人脸跟踪的研发，具体包括人脸关键点5点的定位（服务器端和移动端）、监控场景下的多目标跟踪算法、人脸朝向
研究内容:
（1）人脸关键点
服务器端，单卡TITAN-X，48*48输入，batchsize=32时的GPU耗时=2ms，以双眼瞳距归一化，在CelebA测试集上的误差是0.033个像素，可以转到ncnn移动端架构上，在JD竞赛上超过baseline；
（2)人脸朝向
作为人脸关键点的附带输出，可以有效识别90度大侧脸输出角度；
（3）人脸跟踪
使用小网络分别提取target和search_region的特征，然后将target特征图作为卷积核，对search的输出特征图进行卷积操作，得到响应图，找到目标位置；
96*96的输入，Pytorch上使用多group处理自定义卷积，单卡TITAN-X，batchsize=64，总耗时0.078s。
研究技能:
（1）深度学习架构
熟练使用caffe、pytorch，以及移动端的ncnn只使用infer阶段（caffemodel转ncnn）；
（2）网络
人脸朝向: FSA、Dlib；3D人脸重建: EOS、Joint3Dface；
人脸跟踪: SiamRPN系列、KCF、Kalman、人脸比对方式；
人脸关键点: Style Aggregated Network、MTCNN改进、SRRnet双stream网络；
（3）数据增广
模糊–运动模糊、高斯模糊；颜色处理–明暗对比度、三通道转换、椒盐噪声；shift；rotate；flip；cut。
项目经历:
（一）
名称: 人脸关键点检测
描述: 人脸关键点5点定位，监控场景下人脸遮挡、模糊、角度过大等现象常见，影响人脸比对效果，因此需要对人脸进行关键点定位再对齐，然后进行人脸比对；
难点在于同时在服务器端和移动端都要控制耗时在毫秒级，且训练数据是开源清晰的，而实际监控场景下的人脸画质较低，训练和infer阶段两者数据的信息分布完全不同。
职责: 独立承担该算法的研发、数据准备、训练、评测、封装等各阶段工作，交付开发部SDK包。
成果: 服务器端，单卡TITAN-X，48*48输入，batchsize=32时的GPU耗时=2ms，以双眼瞳距归一化，在CelebA测试集上的误差是0.033个像素。可以转到ncnn移动端架构上。完全满足监控场景下的人脸关键点定位使用要求。
项目经历:
（二）
名称: 人脸跟踪
描述: 监控场景下多目标人脸跟踪，难点在于监控场景下人脸角度、光照、模糊、遮挡等因素影响人脸特征提取，而且会有频繁的人脸措身完全遮挡等现象，易跟丢、跟错；
最大的难点在于现在没有任何一个深度学习跟踪算法的耗时性可以满足实时性需求（深度学习算法中单目标跟踪最高只能达到300fps左右，相比传统算法可以达到1000fps+，耗时性差距很大），而在线训练的传统跟踪算法的跟踪效果又很差。
职责: 独立承担该算法的研发、数据准备、训练、评测、封装等各阶段工作，交付开发部SDK包。
成果: 使用人脸比对模型配合Kalman滤波快速跟踪，以及CPU版的KCF配合二部图KM算法匹配结果，都可以达到实时，但是没有充分利用GPU的计算资源，提取传统特征的跟踪效果也没有深度特征的好；
因此目前使用比对网络提取目标和外扩区域的特征，再用目标的特征图作为自定义卷积核，遍历外扩区域，找到响应最大的位置，该方法可以在特征提取阶段使用多batchsize加速，在最后的自定义卷积部分可以使用多group加速，耗时极低。
工作业绩:
参与两项国家标准制定，并作为本标准主要起草人写入标准文件:
《小样本及其学习样本量和算法要求》
《信息技术 生物特征识别 人脸识别系统 技术要求》

工作概述:
在人车视频结构化团队担任算法工程师，独立负责驾驶员行为分析算法研发以及开发工作
研究内容:
（1）主要负责驾驶员以及副驾驶位未系安全带行为检测，驾驶员打手机行为检测、车头车尾分类；
（2）目标分类-经典网络；目标检测-FasterRcnn、SSD；相关的剪枝操作；
（3）独立实现算法从无到有的研发、数据采集、训练、测试、封装SDK等过程；
研究技能:
（1）深度学习架构: 长期熟练使用caffe、pytorch，短期使用过Torch、MXnet、Tensorflow；（2）网络: VGG、Googlenet、Resnet、Densenet等经典网络，以及squeezenet、mobilenet、shufflenet等移动端网络；
（3）开发环境:
1)熟练使用C/C++, Python以及若干脚本语言，opencv、dlib等图像相关库
2)封装SDK: Windows中VS2013/VS2015，Linux中直接写CmakeList.txt编译。
3)大量训练、配置环境、编译、封装SDK的工作都是在Linux中完成，熟练使用Linux基本操作。
4)熟练使用Docker系统管理工程、tmux等操作工具
5)熟悉Nvidia各级显卡性能
项目经历:
名称: 驾驶员行为分析
描述: 二次识别行为分析，检测驾驶员和副驾驶位置是否未系安全带，主驾是否存在打手机行为；
职责: 独立承担该算法的研发、数据准备、训练、评测、封装等各阶段工作，交付开发部SDK包；
成果: 在实际监控场景下具有很高的未系安全带、打手机行为的检出率和很低的误检率，在公安系统的评测数据集上通过，得到肯定。

实习
研究内容:
负责美颜图像算法，多用opencv

研究内容:
采用深度学习做目标检测，行人再识别，人脸识别等相关工作。