工作描述:
1、 负责图像处理算法的预研
2、采集分析数据,清洗数据,并对数据集进行标注
3、针对图像处理算法的研究和实现,并对网络模型进行优化
4、撰写相关图像处理算法的技术文档
深度学习目标检测语义分割pytorchTensorFlow
重点项目介绍、曾获奖项
口罩识别检测
项目描述:1、数据的采集和处理,包括数据集的获取、数据增强、数据的标注
2、预测网络使用SSD网络,由于本项目仅进行两个类别的目标检测,对网络的输出层进行修改
3、模型的训练、优化调参等
控制台智能提示系统
项目描述:项目流程:
1、采集数据不少于20000张图片数据,注意不同的背景、手指姿态、角度和亮度等,保证数据的多样性
2、编写程序进行数据增强,对数据进行翻转、旋转、调整亮度、颜色干扰、添加噪声等,并利用labelimg对数据样本进行标注
3、将标注好的数据送入Yolo-v3模型,检测手掌位置,利用生成的坐标信息将手掌裁剪下来
4、对MobileNet-v2的输出层进行调整,将裁剪的手掌送入网络,利用MobileNet-v2对指尖位置进行预测
项目难点:
1、手掌位置预测的精度偏低,导致指尖预测样本损失过大
2、指尖预测的精度偏低
解决方案:
1、利用采集的数据,对Yolo-v3模型进行重新训练
2、对MobileNet-v2模型的输出层进行调整
基于热成像姿态识别的智能监控系统
项目描述:项目流程:
1、通过硬件设备获取数据样本,通过硬件设备获取数据样本,数据包括光学摄像头记录的光学图片数据和对应的红外热成像数据,从中选取5600个热成像数据及对应的4757帧光学图片数据
2、由OpenPose网络生成光学图像中的人体姿态关键点,将关键点作为热成像数据分析网络标签;将OpenPose生成的标签数据及红外热成像数据预处理为npz文件
3、搭建网络模型并对模型进行优化,确保预测的精度
项目难点:
1、光学图像数据和热成像数据时间戳的匹配
2、loss 下降缓慢,数据震荡
3、人体关键点信息的缺失,网络性能达不到项目要求
项目难点:
1、编写程序对数据进行预处理,规定光学图像和热成像数据时间戳在0.5s以内时为同一时刻的数据
2、调整模型的激活函数,优化网络训练模式
3、对网络进行优化,加强网络特征提取的能力