1、AI换脸(主R):成体系地完成服务端单图换脸、PC端多图换脸、移动端换脸的研发和上线,并达成10+
个爆款模版。
l 服务端单图换脸:基于StyleGAN造数据以及FaceShifter换脸的方案,并采用高清GAN、局部相似度增
强、多任务联合优化等策略,实现了高相似度、高真实度的换脸效果。快手模版“变身术”系列,累积上线
100+个模版,累积使用量5000万+,达成爆款10余个。
l PC端多图换脸:基于DeepFaceLab换脸方案,增加数据扩增、特定人物FaceID等策略,训练专人定制的
换脸模型,实现和真人几乎真假难辨的效果,并且可以PC端实时运行,支持换脸直播。
l 移动端AI换脸:设计分机型换脸移动端模型,通过蒸馏、剪枝等策略,实现了全机型的模型压缩,可以在
移动端实时运行,且相似度接近服务端效果。上线快手“AI换脸”“自定义融脸”等魔表,极大节省了机
器成本,拓展了换脸的玩法。
2、写实虚拟人-语音驱动唇形(主R):基于时序建模的思路,使用transformer构建网络结构,并采用基模型
-finetune、语音特征增强、时序交叠推理等策略,可在仅采集5分钟数据的情况下打造目标的数字克隆人,
广泛应用于电商直播、新闻播报、视频制作等场景,支持24小时无人直播。
3、二次元活照片(主R):通过模型拆解,分别设计二次元表情驱动和姿态驱动模型,采用生成模块和变形模
块结合的策略,实现了二次元人物的驱动,并对模型进行压缩,支持PC端实时运行和直播替播。
4、人像风格化(主要参与):沉淀出服务端和移动端风格化模型开发流程,上线日漫风格化和皮克斯风格化,
刷新快手AI特效类玩法收益新高。
l 服务端风格化:提出BlendGAN方案,通过风格化编码器设计、真人和风格化数据联合训练,实现基于少
量甚至单张风格化数据制作批量的配对数据,并且可以调节风格化强度,之后用于p2p风格化模型训练。
l 移动端风格化:设计分机型风格化移动端模型,通过蒸馏、剪枝、量化等策略,实现了全机型的模型压缩。
采用困难样本挖掘、频域损失等方式提升模型效果,达到接近服务端的程度。
5、AI绘画(主要参与):沉淀出一套规范的基于扩散模型的AI绘画上线流程,上线快手并达成了多个爆款。
通过输入图前处理、模型微调、参数(关键词、关键词一致性、风格化强度、扩散步数)调整等策略,优化
模型效果。快手“AI绘画”“AI漫画”系列,累积上线十余个模版,并达成多个爆款。
科研论文
l Mingcong Liu, Qiang Li, Zekui Qin, Guoxin Zhang, Pengfei Wan, and Wen Zheng. Blendgan: Implicitly gan
blending for arbitrary stylized face generation. In Advances in Neural Information Processing Systems, 2021.
l Qiang Li, Zekui Qin, Wenbo Zhang, and Wen Zheng. Siamese keypoint prediction network for visual object
tracking. arXiv preprint arXiv:2006.04078, 2020.