楼层清洁机器人视觉避障算法开发(Python\C++)

1、开发、训练了基于深度学习的障碍物识别算法(采用了YOLO系列框架),同时使用实时定位数据以及深度相机数据生成障碍物全局记忆信息,并通过适当逻辑自动维护该全局地图,最后将相应结果通过ROS回传给机器人运控系统;AI算法在多种框架上(ONNXRT、RKNN、OpenVINO)进行了部署,以应对不同的产品需求。算法最终效果得到了需求方很高的评价,并通过了项目组为期一个月的长测。

2、建筑场景下的视觉感知系统：研究、开发了一套基于棋盘格特征的视云自动标定算法方案,通过角点检测算法提取棋盘格的图像特征数据,并通过相机内参矩阵将数据转换至三维空间下。使用PCL点云库中的检索(kD-Tree、RANSAC)、滤波(Statistical)等算法提取棋盘格的点云特征数据,并通过标定板的位姿信息(法向量)自动过滤重复的无效数据,将图像与点云两部分数据转换至同一坐标系下进行法向量计算、匹配,最终计算出相应的外参矩阵。

3、AI电梯系统(Python\C++),职务:技术负责人

主导完成AI电梯系统整体方案设计,方案采用自研AI算法盒子部署深度学习模型(目标检测、行为识别、语音识别等),通过4G路由器与RTMP服务器按需为端侧设备提供实时监控预览、回放服务。同时算法盒子通过Http协议与电梯主控系统进行通信,实时监测超载、烟火等危险行为,并发送警报至后台管理服务器。

4、深度参与AI相关算法开发,采用YOLO系列目标检测框架开发了人、宠物、电瓶车等目标的检测模型,并加入追踪(Sort、DeepSort)算法、轻量级骨架提取算法与轻量级行为分类模型,通过时序逻辑分析实现人物的行为识别算法。同时，采用多视角图像融合方案实现电梯剩余空间占比估计算法。最后加入语音采集模块,采用语音识别算法提取关键词,通过CAN总线与电梯主控通信,实现语音控梯功能。

5、参与自研AI算法盒子的硬件研发工作,确定算法核心单元、各类型接口选型,同时负责板端全算法的部署与测试。

6、物流机器人——物料识别、定位算法开发(Python\C++),职务:主要研究员

开发出一套基于目标检测算法(YOLO等)以及深度相机的目标物料识别、定位算法,实现稳定输出目标物料种类与粗定位结果,经测试误差小于5cm。

7、迎宾机器人脸检测算法开发与部署(Python\Android),职务:主要研究员

采用轻量级目标检测模型(RetinaFace)训练并优化了人脸检测与口罩识别模型,通过NCNN框架部署于安卓手机端,未搭载GPU\NPU的设备检测速度达到约10帧。同时完成了面部跟随逻辑部分安卓代码的开发。

8、基于gRPC通信框架的云平台Mask-RcNN服务部署 (C++) ,职务:主要研究员

主要负责服务中客户端与服务器前端的双向通信代码、中间件与推理服务器(Triton Server)的数据转发,以及推理结果的后处理代码。编写RL Codec对回传的Mask数据进行压缩,压缩率达到1%-9‰,降低通讯延迟约150ms,并完成服务部署后的内网联调测试。