工作职责:负责机器人相关的2D/3D感知算法研发

1.下一代家庭服务机器人原型研发。 2022.09-2023.03

• 项目简介:探索下一代家庭服务机器人的产品形态。通过在移动底盘上搭载低成本机械臂,辅以高精

度手眼协同算法,完成垃圾拾取、积木整理、自动浇花等任务的原型机功能验证。

• 负责项目的总体推进,包括软件架构、各模块接口和通讯方式的设计,各模块的验收方案和验收指标

的定义,代码库的搭建和管理等。

• 负责在仿真引擎和真实平台上分别完成机器人系统的集成和联调工作。基于ROS2实现机器人感知、

决策、规划和控制等各模块之间的通讯,实现高精度低延时的手眼协同抓取,完成原型机功能验证.

2.清洁机器人感知算法研发。 2021.02-2022.08

• 项目简介:通过单目RGB方案或RGB-D方案,实现清洁机器人对家庭场景常见障碍物的感知和避

障,各项指标均超过友商产品,达到交付要求并完成量产出货。该产品曾在2021年世界人工智能大

会(WAIC)中进行展出。

• 负责标定算法与单目测距的方案设计和实现。为清洁机器人等低视角机器人场景的单应矩阵标定

设计专门的标定方案,在工作范围内实现毫米级别的标定误差;通过检测框结合单应矩阵实现单目

RGB测距,在工作范围内达到±2cm的测距精度。

• 负责感知算法的方案设计和实现,主要工作包括数据采集、数据处理、数据增强、神经网络模型实现

与优化等。使用一个网络进行多任务学习,同时完成18类目标检测和5类场景识别,其中目标检测

precision和recall都超过90%,场景识别准确率超过80%。

• 负责仿真与真实图像融合训练的方案设计与实现。通过仿真生成策略,在UE4引擎中生成大量包含

猫、狗和人的家庭场景仿真数据,融合少量真实数据,实现对于猫狗和人的检测,precision和recall

都超过90%,节省了大量的采集与标注的费用。

• 负责3D感知模块的方案设计和实现,包括相机标定,障碍物提取,滤波等,最终输出可用于避障的

局部地图,避障成功率达到95%以上.

3.元萝卜机器人的人机互动摆棋算法研发。 2021.12-2022.03

• 项目简介:当棋盘存在部分遮挡时,根据当前信息,快速高效地让机械臂摆出目标棋局,进行对弈。

• 负责人机互动摆棋算法的方案设计和实现。当人与机械臂共同参与摆棋时,可能存在人手、机械臂和

其他未知物体对棋盘及棋子的遮挡。对于各种可能出现的情况,需要快速完成摆棋决策,实现当前局

面下最少步数、最短距离、最快速度的摆棋,并针对缺子、多子、遮挡等异常情况进行提示。

4.工业机器人堆叠物料的点云实例分割和位姿估计算法研发。 2020.05-2021.02

• 项目简介:使用3D相机获取高质量点云,通过原创深度学习算法准确估计物料位姿,使用大型工业

机械臂对产线上的堆叠物料进行快速和高精度的抓取。精度要求为物体距离相机3米时误差小于2

毫米,抓取成功率在99%以上。

• 负责从仿真引擎(Bullet+Blender)中生成大量带标注的堆叠物料点云数据,采集过程中加入多种随机

因子和模拟噪声,模仿真实场景可能出现的遮挡、噪声和缺失,以实现Sim2Real的跨越,达到仅使

用仿真点云数据进行训练,即可在复杂真实场景落地应用的效果;

• 负责搭建深度神经网络进行点云实例分割和位姿估计。以PPR-Net为基准,通过加入无监督置信度

预测分支,赋予每个点自学习不等权的投票权重,显著提高了最终位姿估计效果的鲁棒性和准确

性,最终抓取成功率达到99%(系统总误差小于2mm)。相关研究成果发表在L.Zeng,etal.”PPR-

Net++: Accurate6-DPoseEstimationinStackedScenarios,”inIEEETransactionsonAutomationScience

andEngineering(TASE),2021.

5.物流机器人盒状物体抓取点估计算法研发。 2019.07-2020.04

• 项目简介:物流场景中存在大量外观和形状各不相同的盒状物体,通常是整齐码放或者堆叠摆放在

物料箱中。使用低成本的RGB-D相机和机械臂进行快速的抓取点估计和抓取,能够在节约成本的同

时提高物流的分发效率。该产品在2019年中国机械展进行了展览。

• 负责从仿真引擎(Bullet+Blender)中生成带标注的整齐码放与堆叠摆放场景下的盒状物体RGB-D数

据,探究不同的抓取点标注策略(例如直接标注抓取点,或是标注每个点距离抓取点的ofset,对于遮挡情况的标注策略等)对网络的影响。

• 负责探索Sim2Real方法,研究在数据生成中不同随机策略的影响,最终基于DomainRandomization

的思想建立了完整的仿真数据采集和处理框架,实现了仅使用仿真数据进行训练,即可在真实复杂

场景中对于各种外观和形状的盒状物体都能高成功率抓取的效果,具有极强的泛化能力;

• 负责搭建深度神经网络进行物体抓取点估计。通过引入随机掩膜遮挡,首次实现仿真深度图像的

Sim2Real跨越,从0到1地实现了仿真RGB-D数据的融合训练。通过改进预测机制、数据增强、跨

模态融合、高低层特征融合等方法大幅提升了网络整体性能,最终整齐码放场景抓取成功率达到

99.5%,堆叠摆放场景抓取成功率达到99.0%。

1.基于物理世界可受空间学习的视觉引导机械臂物体操作。 2018.08-2019.04

• 项目简介:通过提出一套创新且高效的仿真数据采集方案和拓展的可受性(Afordance)概念,实现了

Sim2Real的多任务机械臂物体操作,该方案具有很强的泛化能力,能适应不同的相机视角且无需进

行标定,能操作多种未见过的物体,该框架适用于多种机械臂物体操作任务。

• 基于V-REP引擎搭建仿真系统,提出了一种新的数据采集方法,能够在仿真环境中快速高效地采集

机械臂物体操作训练数据,对于多种待抓取物体生成RGB图像及对应的可受性(Afordance)标注信

息,基于DomainRandomization对各种要素进行随机,以实现Sim2Real的迁移;

• 本研究提出了一种使用可受性来进行机械臂物体多任务操作学习的框架,拓展了可受性的概念,将

可受性定义在三维空间从而完整地表示一个机械臂物体操作动作;对于不同的任务,只需要修改可

受性标注的逻辑,即可使用相同的框架进行学习。此外,将可受性定义在物理世界坐标系上,可以避

免机械臂和摄像头之间繁琐的手眼标定以及图像坐标系和世界坐标系之间的转换。

• 对于20多种复杂物体(均未出现在训练集中)进行大量的Push和Grasp测试,在Push任务中成

功率达到92.4%;在Grasp任务中成功率达到95.4%,均超过当时的SOTA方法。由于具有较强的

创新性,本人作为第一作者,将相关研究成果发表在ICRA上。Wu,H.,etal.”LearningAfordance

SpaceinPhysicalWorldforVision-basedRoboticObjectManipulation.”2020IEEEInternationalConference

onRoboticsandAutomation(ICRA)IEEE,2020.

2.基于视觉引导的机械臂多任务物体操作。 2018.12-2019.04

• 项目简介:搭建一套完整的仿真系统,验证DomainRandomization的可行性,通过仿真数据训练视觉

模块引导机械臂,通过深度强化学习完成机械臂路径规划,实现多任务物体操作。

• 参与仿真系统的搭建,实现多种随机化逻辑,包括相机位姿、物体位姿、环境光照和背景材质等。

• 负责机械臂抓取和推动两个物体操作任务的定义和神经网络实现,负责DomainRandomization方法

的实现,最终抓取成功率为89%,推动成功率为84%。

论文/专利/获奖

• Wu,H.,etal.”LearningAfordanceSpaceinPhysicalWorldforVision-basedRoboticObjectManipulation.”

2020IEEEInternationalConferenceonRoboticsandAutomation(ICRA)IEEE,2020.

• 在目标检测、语义分割、点云识别、位姿估计、机械臂抓取和相机标定等方向获得24项发明专利

• 2022年商汤科技创新工程院院长奖励

• 2017年中山大学优秀研究生一等奖学金

• 2015年中国机器人大赛规定动作技术挑战赛一等奖