穿戴式多传感器全身动作捕捉项目,旨在通过跟踪捕捉、实时还原全身动作,提升玩家在XR场景中的沉浸和交互。
该项目从最初启动至产品1.0上市、2.0迭代,均作为虚拟项目组算法对接人深度参与到产品指标确定和硬件选型中,
并负责相关算法的高质量开发落地,所在项目组于23年获得公司级创新突破奖
核心亮点1:室内环境下追踪器的高精度定位追踪
一代产品选用“IMU+地磁”方案实现追踪器的实时高精度3dof计算。主要工作包括IMU工厂标定、地磁bias在
线实时估计、基于互补滤波算法的3dof方案开发等,保证30min内动态精度attitude方向小于0.5°,heading
方向小于3°;
二代选用“IMU+地磁+led灯组”方案,利用led灯可视图像帧、基于PNP算法对追踪器实现高精度6dof计算和
3dof姿态修正,延长高精度追踪的使用时长,并增加对环境干扰的鲁棒性;
开发验证卡尔曼滤波算法对姿态解算精度的提升。在IMU陀螺仪零偏标定误差偏大时,卡尔曼滤波算法对零偏
的实时估计能够有效提升heading方向精度;
基于ceres非线性优化库实现“IMU+地磁+led灯”方案的传感器外参标定;
核心亮点2:“穿戴式”全身动捕方案的穿戴校准(以下两项工作均获得专利)
针对一代追踪器纯3dof的特殊性,通过设计一组简单的人体动作完成追踪器和下肢体的姿态标定,保证用户
上手易用性和完成快捷度的同时,标定精度(5~10°)同样满足产品指标;
结合二代追踪器中的光学定位系统,将校准时长缩短3倍,用户校准满意度较1代提升90%;

1.参与光学方案设计, 根据传感器工作参数确定系统基线距、相机视场角和分辨率等关键参数;
2.负责系统标定, 包括双目、RGB 内外参标定和多线激光光平面标定算法的开发和维护,1500mm 工作距离下的最大绝对测量偏差 0.2mm ,测量精度能够达到竞品水平;
3.负责大景深光平面交叠下的双目匹配算法开发,以 SGM 算法为灵感提出一种无需辅助纹理的代价聚合方案,匹配准确率达到 99.9% ,打破友商在该领域的专利保护, 并且能够重建辅助纹理无法胜任的高亮金属表面;
4.负责立体相机多曝光融合算法开发, 提升相机重建的动态范围, 针对高反金属表面的点云重建数目较业界独角兽友商提高 10%;对激光结构光、 DLP 结构光方案以及双目 DOE 方案进行过详细的测试对比, 对各种方案的优势、不足、产品定位有自身的理解;
项目二：抓取无序的物体定位
1.独立承担机械臂无序抓取演示项目的视觉工作, 包括场景的在线三维重建展示、实时物体定位、系统手眼标定,项目顺利完成验收, 获得部门“年度优秀项目”提名,个人季度绩效达到“良好”;
2.通过调用相机和 DLP 底层接口控制整个系统实现在线点云重建,结合 PCL 库通过多线程方式实现场景点云及物体位姿的实时可视化展示;
2.从零开发物体定位算法, 实现在高堆叠、高无序场景下的物体识别和定位, 工件识别率能够达到 80%,仿真环境下定位精度 0.2mm,识别帧率 1s/帧。并梳理出部门内部 3D 点云处理基础库 V0.0.1 版本;优化手眼标定算法,以原有算法结果为初值, 构建目标函数利用非线性优化方法进行求解, 标定精度提升100% 。至此,完成视觉引导机械臂抓取的最后一环;