· 上阶段工作:主要研究多人紧密交互场景中的人体Pose和Shape的估计问题,为了处理遮挡并获得时域连续性的人体Shape,设计了时空追踪模块,并使用SMPL-X预测每个人的身体、脸部、手部和脚部的姿态。该项目中我以第二作者身份撰写的《Total Capture for Multiple Closely Interacting Persons》将于近期投稿于CVM。
· 现阶段工作:从单图像重建高精度人体三维mesh。与现有的基于体素和点云的方法不同,我们的方法是基于图卷积表示三维网格,并利用从输入图像中提取的感知特征,通过逐步变形标准T-Pose的模板来生成正确的人体形状。采用由粗到精的策略使整个变形过程稳定,并定义各种网络相关的loss来约束不同层次的属性,以保证重建结果在视觉上的舒适感和几何上准确性。
· 日常工作:每周末去清华大学刘烨斌老师课题组(目前国内三维重建的领军)参加一次组会,具体讨论工作进展以及交流科研进度。