泊车场景下3D目标检测

– 单相机3D目标检测模型:验证基于RTM3D的单相机3D目标检测模型。优化模型数据增广,增加深度估计头,提

高模型效果。模型输出2D关键点,2D中心点,物体尺寸等。并利用物体的内外参,优化模型后处理效率,输出物

体的3D位姿。并预研由2D标注进行3D目标检测算法,实现seperatehead等策略,提高检测效果。

– 多相机BEV视角3D 目标检测模型:移植多相机BEV行车检测模型到泊车场景下。在6V鱼眼相机的布局下,

开发并验证目标检测模型,模型包含2D特征提取,2D特征融合,2D-3D特征转换,BEV特征提取等。测试若干

种2D-3D特征转换的方法,如OFT,LIFT等。

• 单相机2D检测感知算法

– 单相机2D检测模型开发: 熟悉ResNet,Yolo,BiFPN等经典深度学习框架,并基于此开发2D检测模型,细分类模

型(红绿灯,交通标识牌,地面箭头)。负责车端模型的结构设计,效率优化,车端模型和云端模型常态化网络训

练,全链路的数据闭环开发。

– 全链路网络训练搭建: 包括数据库打标,筛选,解析;模型云端部署;模型评测算法;模型前后处理优化。

– 模型车端部署: 将2D检测模型和细分类模型进行tensorrt转换,部署车端;并通过cyberrt通信,实现整个2D检测模

块的车端使用。

• 众包建图算法

– 配准法: 通过配准,图优化等算法,实现众包建图几何层和逻辑层的一致性。算法设计轻量化,模块化,具有很高

的运行效率。

– 图网络法: 用图网络法补全逻辑层中心线,提高中心线的完备率。完成基于iCurb,DenseTNT的图网络算法设计,

实现高速路段的中心线补全。

Rovéo(巡检机器人)

– SLAM:设计并测试多种基于单/多线激光雷达的SLAM算法,包括hdlgraphslam,legoloam,liomapping,amcl等;

比较不同种多线激光雷达在不同环境下,使用的优缺点。采用传感器融合的方式,增加SLAM精度。

– 3维重建和异常检测:利用2个垂直的单线激光雷达数据,对环境进行3维重建;利用点云数据做3D配准,实现基

于volumetry实时的异常检测(PCL);并通过对3D空间进行3维离散和raytrace算法,提高异常检测的精度和速度.

– 定位:基于开源的slam算法,开发定位算法的代码;使用gtsam,g2o等图优化算法实现与gps,imu等传感器的融

合增加定位的精度.

– 路径规划和导航:设计和运用基于movebase的2D路径规划和导航算法;利用雷达和深度Astra摄像头实现3D环境

到2Dcostmap的转化(viacost-layer);引入全局costmap和局部costmap实现计算强度和计算精度的平衡。

– 算法部署:基于ROS,实现全链路定位导航算法在机器人端的部署。

设计基于混合型扩展卡尔曼滤波器(EKF)的机器人定位算法,并运用out-of-sequencemeasurement处理EKF中传感器测量

数据的延时问题

• 运用ROS,在Simulink和Vrep模拟器中分别进行EKF算法的仿真,并对相关参数进行优化调试以提高定位精度