经历
2019.3~⾄今 少样本⽬标分类
利用图卷积网络和对抗学习来改进基于迁移学习的⽬标分类模型,在Market-1501数据集上准确度从94.24%提⾼到98.60%,在少样本CIFAR-10和少样本CIFAR-100数据集上准确度分别从91.66%和73.33%提⾼到93.33%和77.50%,在omniglot数据集上准确度从79.00%提⾼到89.04%。构建基于迁移学习的少样本⽬标分类模型。利用目标分类模型来分别提取训练样本和测试样本的特征向量,构建包含训练样本和测试样本的 图结构。利用Deep Graph Infomax来提精目标分类模型所提取的特征向量,验证了经过图结构编码器的特征向量所得的目标分类表现更好。
2018.11~2019.1 多目标跟踪
利用生成区域的图像特征和跟踪器的IOU特征来同时跟踪多个目标,在MOT17数据集上离线评测从44.4 %提高到47.2%,在线评测相对基线提高了0.52%,排除检测的处理速度可达102Hz。训练卷积神经网络来对不同行人进行重识别。根据前面帧的检测区域,利用CSRT跟踪器或卡尔曼滤波器来预测当前帧对应的区域。计算跟踪器所预测的区域和当前帧检测区域的IOU,结合区域图像特征和IOU特征来计算相似 度,使用匈牙利算法将当前帧检测区域更新到相似的检测区域序列中。
2018.3~⾄至今 泸州老窖 包装盒检测
已落地于国内第一家集成瓶口检测、杂质检测、液位检测、包装盒检测和包装箱检测的自动化生产线,产速度可达15000瓶/时,检出率100%,误检率0.007%。使用分区域二值化方法来检测盒表面破损,使用模板匹配来检测五种酒精度。使用模板匹配来检测⼆维码和激光喷码的缺失以及不合格位姿。
2016.10~2018.3 古井贡酒 不透明玻璃瓶装液体内的杂质检测
此项目分为程应⽤和理论研究两部分,已被应用于检测古井贡酒红色瓶体的灯检机中。该灯检机生产 速度可达8000瓶/时,检出率96%,误检率12%。
工程应用:微调Faster R-CNN、SSD和Mask R-CNN等⽬标检测模型,在单个主机上使用多线程网络框架对30路图像输入进行检测。理论研究:
1) 应用DCGAN、CycleGAN和Wasserstein GAN等生成对抗网络来增广样本,以及结合对抗样本来增广目标区域样本,提出关联样本。
2) 利用图像的灰度特征和运动特征,构建Siamese FCN和Siamese U-net来分割⽬标的语义特征。
3) 将目标分割模型作为区域生成网络,利用区域的轨迹特征来构建空间注意力模型,利用区域的灰度特征变化来构建Long-term Recurrent Convolutional Network,从⽽达到提精检测结果的目的。
技能
开源工具
熟练使⽤Pytorch和Keras(Tensorflow backend),熟悉Caffe和Tensorflow。熟悉OpenCV和ROS。
熟悉MFC和Qt。
编程语⾔
熟悉Python、Matlab和C++等语⾔。