1、对足球比赛中各个视频片段进行打标
主要对足球比赛中的射门、换人、受伤、红黄牌等事件的分类
1）在实际中各个镜头视频长短不一，同时射门等事件在整个镜头中的占比较小，传统的视频分类中对视频随机采样的方法不太适合。为了解决这个问题，对视频进行分成n段，即对各个事件看做是马尔可夫过程，每一段随机选取一帧。
2）开始采用I3d网络结构，为了提高准确率，借鉴SENet的思想，在I3d中加入SE模块，借鉴None-local思想，加入None-local模块。
3）由于单块GPU的显存有限，采用以数据并行的方式利用多GPU训练。由于batch normal没有实现同步，导致检测和训练准确率相差悬殊，为了解决这个问题将batch normal换成了group normal
4）在初步得到一个I3d模型后，为了提高模型的鲁棒性，采用Teacher-Student的方式对其多次训练， 并在Teacher-Student训练完成后，以固定的学习率对模型进一步训练，并将多次epoch得到模型进行权值平均得到最终模型。
5）在训练过程中每次迭代都需要在视频样本中抽取帧，这涉及很大的I/0操作，拖慢了训练速度，为了提高训练速度，将训练过程中用到的视频样本转换成图片，并将每个视频的帧率、视频中总的帧数以及视频帧的长宽都在训练前记录在一个文件中，减少训练程序对磁盘的访问量。
6）为了解决样本不均的问题，采用focal loss
7）识别框架使用Tensorflow，用docker对识别程序进行打包
2、对篮球比赛中精彩镜头的检测
主要是对CBA比赛中的一些精彩镜头进行检测。
1）将异常事件检测的思想应用到篮球比赛精彩镜头的检测
2）已固定的帧率对视频进行抽帧
3）采用基于Conv 3d和deConv 3d的encoder-decoder的方案，并在decoder过程增加一个预测分支，迫使网络能够学到视频更为细节的内容。为了更好的保留信息，激活函数使用LeRelu，而非Relu
4）为了降低网络的参数量，将样本中的彩色图换成灰度图
5）为了提高训练速度，将训练过程中用到的视频样本转换成图片，并将每个视频的帧率、视频中总的帧数以及视频帧的长宽都在训练前记录在一个文件中
6）识别框架使用Tensorflow
目前该项目还在进行中
3、基于人体姿态估计的足球运动员动作识别
主要实现对倒挂金钩、大脚、铲球和头球等球员动作的识别
1）利用open pose思想和框架对人体关键点进行检测定位
2）利用cython对网络输出的后处理python程序进行加速
3）复现了一篇基于骨架点序列的动作识别文献，但在足球比赛中球员跟踪比较困难，各个动作序列样本很难获得，在实际中没有用到
4）利用各个关键点的之间的角度以及球的位置，设计规则实现对各个动作的识别。
5）识别框架使用Tensorflow
4、基于人体姿态估计的相似姿态查找
将各个知名球员的经典动作存入库中，系统输入一张其他人摆的pose，系统输出与其最为相似的图片。
1）利用open pose思想和框架对人体关键点进行检测定位
2）事先求取各个球员的人体关键点，并存入redis数据库
3）相似度判断，主要是将待比较的两个人的关键点进行归一化，并计算相应关键点之间的距离。
4）识别框架使用Tensorflow
5、火灾检测
主要是对火灾视频进行检测分类
1）运用场景分类的方法对火灾进行检测，网络结构采用resnet 50
2）为了得到视频中火灾的空间上的大概位置，对网络最后一层的响应进行分析，对响应值大于阈值的单元依据感受野的大小计算在输入图像的大概位置，并将多个区域进行合并得到火灾的大概位置。
3）为了解决样本不均的问题，采用focal loss
4）识别框架使用Tensorflow，用docker对识别程序进行打包
6、爆炸检测
主要是对爆炸视频进行检测分类
1）运用C3D方法对视频进行分类
2）为了解决样本不均的问题，采用focal loss
3）识别框架使用Tensorflow，用docker对识别程序进行打包

在2014年11月份铁路总公司组织的动车故障自动对比比赛中取得第一名的好成绩，并在2012年铁路总公司组织的货车故障自动识别比赛中取得第二名的成绩。

1、基于深度学习货车故障自动识别
实现货车侧架中各部件进行故障自动识别，主要完成档键螺栓松动、轴端甩油、锁紧板变形、档键丢失等故障自动识别。
1）主要是借鉴Faster Rcnn的思想，并对其进行改造，主干网络为vgg，head网络个数为3个，一个分类子网络，一个部件定位子网络，一个是部件故障识别子网络。分类子网络负责判断图片是否为侧架图片，部件定位子网络负责对档键、轴端、锁紧板等部件进行定位，部件故障识别子网络是在部件定位子网络的定位结果基础上对各部件故障进行识别。
2）为了解决样本分布不均，加入OHEM机制。
3）为了提高档键等小部件的识别结果，在主干网络采用skip connect，使得最终的分类回归利用底层信息。
4）在实际系统中，存在两类相机拍摄的图片，一类是面阵相机拍摄，一类是线阵相机拍摄，尝试利用GAN的思想对网络实现domain adaptation
5) 为了加快网络运算速度，以及减少网络占用GPU显存，尝试对网络进行了压缩。
6）识别框架使用caffe。编写服务器端软件，将识别服务打包上线。
2、运用GAN原理和对偶网络原理实现故障图与正常图进行互转
利用tensorflow利用GAN原理和对偶网络原理实现故障图与正常图互转，目标为了解决故障样本较少的问题。
1）生成网络部分由两个生成网络组成，一个是输入正常图，输出故障图；另一个是输入故障图，输出正常图，两个网络结构均采用u型网络，但为了保证原有输入图像的部分细节，让生成网络生成残差图，即输出图像由输入图像与残差图相加得到。
2）判别网络由卷积网络组成，输出3个值：正常真实图、故障真实图和生成图（包括生成的故障图和正常图）。
3）两个生成网络生成的图像互为输入，形成一个对偶网络
4）生成网络损失函数由四部分组成：普通GAN损失函数、对偶损失函数以及两个规则项（为了保证生成的图像尽可能保持输入图像的细节）。判别网络损失函数即为分类损失。
3、TEDS线阵图像对比
主要对线阵相机拍摄的图片进行对比，主要对同一设备同一趟车不同时间过车拍摄的图片进行对比，主要采用的技术图像配准+图像匹配，图像配准主要采用互信息方法，目标是将历史图与当前图对齐，然后对图像上特定区域进行匹配，匹配时特征主要为纹理特征。整个系统使用c语言完成，并移植到Linux平台下。在2014年11月份铁路总公司组织的动车故障自动对比比赛中取得第一名的好成绩。
4、货车车号识别
整个系统主要分为挑选含有货车车号图片、货车车号定位、车号数字分割和车号识别。本人主要负责车号的识别。车号的识别实现了两种方案，一种是基于harr特征和random forest的，一种基于fisher vector提取中层图像特征，并运用PCA技术对其进行降维，分类器采用Svm。最终整个识别过程所使用的技术为：harr+random forest。使用了opencv和vlfeat开源库。整个系统使用c语言完成。
5、货车部件故障检测
1）负责货车挡键部件的定位以及挡键丢失与否的检测。主要采用HOG特征+gentleboost方法，针对于不同形态的挡键采用多分类器进行处理，该模块使用c语言开发。
2）负责对货车锁紧板变形故障进行检测，主要采用的技术是cascade regression+radom fern，对锁紧板的姿态进行估计。该模块使用c语言完成。
在2012年铁路总公司组织的货车故障自动识别比赛中取得第二名的成绩
6、西安动车故障自动检测系统
主要负责对动车的检查门滑进、裙板螺栓丢失、三角锁没有锁到位等故障的检测和识别。检查门滑进检测主要采用特定的图像分割技术，采用基于规则的方法进行识别。裙板螺栓丢失主要运用LBP特征+svm。三角锁故障主要采用sift特征+svm。各个模块使用c语言+opencv完成。
7、图像质量评判
主要对TFDS设备拍摄的图片进行质量评判，主要评判图像的清晰度和亮度。图像的清晰度主要衡量图像边缘的锐度。整个系统使用c语言完成。
8、列车制动试验检测系统
1）负责货车制动缸定位。主要采用HOG特征+gentleboost。主要采用c语言完成。
2）负责对列车制动试验检测系统中拍摄的图片进行去雾操作，主要运用guid filter估计透射率，使得图像变得清晰。主要采用c语言完成。

1、负责人体识别算法的研发并担任该项目组负责人，主要包括训练和检测两个模块，训练模块分别采用HOG特征+svm算法和HOG特征+adaboost+神经网络两种算法，检测算法主要采用聚类算法对目标进行定位。整个系统由c和c++完成。

2、参与运动目标检测系统的研发，该系统主要有视频信号异常判断、目标检测、目标跟踪、目标分类和事件分析，主要负责目标分类和事件分析算法的研发，部分负责目标检测算法的研发，部分负责视频信号异常判断。对于视频信号异常判断模块主要负责摄像机抖动的判断和图像的对准，产生一专利，专利名称为一种摄像机抖动判断装置。目标检测模块主要负责光照区域的判断和影子的去除，产生一专利，专利名称为一种光照去除装置。对于目标分类和事件分析模块则全部负责，产生一专利，专利名称为一种目标分类装置。各个算法均由c语言编写完成，并负责算法的优化并移植到dsp下。

3、 参与疲劳检测算法的研发，该系统主要由人脸检测、人眼定位和疲劳判断三个模块组成，本人主要负责人脸检测模块的研发，产生一专利，专利名称为一种人脸检测装置。算法由c语言完成。