主要职责:
该项目分为以下几步进行: 筛选图像、标注样本、模型选择、模型训练、模型推理以及后处理
筛选视频图像，制定图像标注规则，选取满足均匀分布的六万张图像数据进行模型训练，样本数据在四块TITAN X显卡上训练50万次，在测试视频上推理模型，将最终的结果实时显示出来。
存在问题: 最主要是站立后手势的问题，主要原因在于训练样本中相关的图片太少。对于司机的不规范性动作检测准确率相对较低。
解决方案: 在司机正上方加装双目相机，采集司机室的彩色图像和深度图像，选取实时性较好的关键点检测算法open-pose，对司机人体的13个关键点位置信息进行标注，对两万张样本数据进行模型训练，通过模型推理得到的关键点位置信息，结合深度图像构建三维空间位置姿态，对司机的各种手势做出精确的判断。
项目描述: 6A视频分析
本项目旨在通过深度学习的方法，对司机是否存在盹睡等行为进行分析。将视频中司机存在精神不振以及盹睡的视频筛选出来，用智能的方法节省单纯的用人眼去判断识别精神不振视频的时间。
主要职责:
结合业务需求，设计算法实现方案，采用头部姿态关键点分析方法，主要对头顶、右眼、下巴、右耳、后颈、左肩、右肩七个关键点进行模型训练，根据七个关键点的位置姿态信息对司机是否存在盹睡行为进行判断。算法对于司机存在盹睡行为的判别标准主要从三个方面考虑: 1.存在长时间一动不动的行为；2.存在大幅度仰头行为的判定为精神不振；3.存在长时间趴桌子且一动不动的行为判定为精神不振。
存在问题: 对于司机室里有多个人的情况，无法确保每组检测结果对应相同的人。
解决方案: 通过加载open-pose训练的人体关键点模型并推理获取所需的关键点信息，然后基于连续视频帧检测结果进行关键点匹配（同一张图像当中存在多个人，当前视频帧图像中的每个人跟前一帧图像中的每个人做匹配，确保连续视频帧检测结果中的每组结果对应相同的人），之后对每个人的关键点进行分析，判断是否属于上述三类行为中的一种，最终将检测到的三种属于精神不振的行为合成新的视频作为最终的精神不振行为视频输出。
项目描述: 智能瞭望系统
在铁路运输行业中，乘务员在值乘作业过程中难免会有精神不集中的情况发生，为了提高列车行车安全，
研发一套基于视觉技术的前方障碍物检测系统尤为重要，通过检测识别算法对机车正线行驶的路况信息进行分析，如果人出现在当前轨道内则发出异物侵限报警信息，同时识别轨道旁边的限速牌，
主要职责:
项目主要分为样本标注、模型训练、模型测试，调整数据，调整参数，最终得到最优模型。
存在问题: 模型存在过拟合现象，泛化能力较弱。
解决方案: 提出一种数据增强方法，使用opencv霍夫变换检测圆的方法制作限速牌模板，制作数据分布均匀的样本数据集。
存在问题: 检测过程中存在丢帧漏检的现象。
解决方案: 采用目标检测线程与目标跟踪线程同时进行，目标跟踪模块采用模板匹配的方式对目标进行跟踪，当连续三帧检测到出现人则发出报警信息，如果人出现在轨道内则发出异物侵限报警信息。
项目业绩: 算法部署在xavier X3上，通过软硬件联调已经在韶关钢铁物流部钢坯铁路智能化运输项目上验证成功，准确率达到90%以上。
对于轨道弯道异物检测拟采用实例分割的方法，获取多路图像，同时对轨道、道岔、人车交通信号灯等进行实例分割，判断当前机车的行进轨道，然后对当前行进轨道进行异物判断并且输出异物属性。预期达到效果
采用基于pytorch框架的yolact++算法完成轨道、道岔、人车交通信号灯的实例分割，通过道岔的开合状态信息确定机车当前行驶的轨道，对于单条轨道的分割效果较好，对于位置较近的两条轨道的分割效果不是太好，有待解决。
项目描述: 机车电务设备检测系统
本项目旨在通过列车行驶过程中的相机拍摄的包含列车车号以及所属路局段信息的图像，确定列车的车号以及路局信息。
主要职责:
结合业务需求，构造车号与路段信息分类模型，分别对车号信息以及路段信息进行标注，同时截取图像中的车号信息图像，对车号信息包括字母以及数字进行分类标注，用目标检测算法faster-rcnn分别训练两个模型，通过两个模型推理列车的车号信息以及列车所属路段信息。通过截取视频图像帧进行标注训练，经过测试模型的准确率能达到96%。