目标检索相关项目
1. 聚类哈希索引: 基于分类/聚类方法,通过对query和检索底库进行分类编码从而实现快速筛选;
2. 车辆/行人检索(参与) : 基于CNN网络实现车辆/行人特征提取,基于提取特征实现reid任务,包括后续特征压缩、量化实现reid多级检索;
3. 深度学习+ORB实现特征多级检索,包括对网络feature map的压缩量化;并使用基于位置相关性和匹配强度的Ransac方法优化ORB点匹配检索(使用于相同目标检索如酒标检索、视频版权等);
特征相关算法
1. 特征压缩量化: 利用PCA、ITQ、deep hash等方法对提取原始深度特征进行压缩量化,包括PCA+ITQ代码实现(c++)以及Eigen+Cublas训练加速(速度提升约10倍),了解PQ、OPQ等特征编码算法;
2. 点特征编码: 基于GMM和Fisher vector的sift或orb等关键点特征进行编码,使得不同图像具有统一维度的特征表达;此外,针对orb实现方式进行改进,实现其尺度不变性以应对图像尺度变化问题;
人脸识别相关项目(负责)
1. 人脸识别算法: 人脸识别算法实现,熟悉常用的人脸识别方法,并基于监控场景人脸数据研发多模型人脸检索、多姿态人脸识别方案(准确率同比提升>10%,实际监控数据5%误报下top1命中86%,20W数据监控人证检索);
2. 人脸检测、跟踪算法: 熟悉常用算法用于人脸/目标检测以及landmark检测矫正算法即实现;根据实际应用场景进行模型结构优化以及轻量级检测模型开发;结合人脸检测以及单目标跟踪实现人脸多目标跟踪,其中跟踪算法使用kcf或卡尔曼滤波,实现视频人脸的实时跟踪;
3. 移动端人脸算法移植: 基于NCNN框架实现人脸检测算法以及人脸识别算法移植工作,并完成包括人脸检测、人脸特征提取、人脸矫正的JNI接口实现,适配Android端应用开发;此外负责GTI芯片模型移植工作,包括caffe修改、量化训练、模型移植等;
4. 活体检测算法: 完成配合式、静默式、3D结构光活体检测算法实现,配合式基于人脸landmark的动作序列判定完成;静默式采基于深度网络,以二分类实现静默式活体检测;3D结构光以3D摄像头采集的红外、彩色、深度图为基础实现活体检测,采用深度特征实现(可以单模态或多模态);
5. 人脸聚类算法: 以KNN+Graph为基础实现无监督特征聚类算法,包括离线聚类、在线聚类、子集聚类(配合分布式)开发等,并完成C++实现以及CUDA检索加速,百万数据离线聚类<15min(子集聚类4min),聚类准确率>85%;
6. 人脸质量评估: 分别基于传统方法和多任务学习方法(姿态、清晰度、光照)实现人脸质量评估算法,基于多任务学习方法可实现综合质量评估准确率>80%;
7. 人脸属性分析: 人脸属性( 年龄、性别、种族、遮挡等)分析任务,基于多标签/多任务学习,实现各属性准确率>85%;