1、行业语言大模型的研究与落地
(1)完成语言大模型在金融、政企、云计算等行业的研究和落地。通过RAG(检索增强生成)将检索到的知识
作为上下文,辅佐语言模型结合外部知识生成答案。
(2)强化学习模块冷启动。从多个维度评估回答的质量,使回答更符合人类偏好。
(3)优化通用COT和行业领域COT的数值推理、日期推理、数字常识、逻辑推理等相关能力的效果,能力超
过常见开源模型和API。
2、音视频精彩片段自动检测
(1)视频的自动化检测和剪辑,对视频进行时序定位,自动识别出视频的精彩片段。
(2)用多模态技术和带噪标签学习提升检测效果,在该任务公开数据集YouTube Highlights达到SOTA效果,
并在电影和游戏场景落地,技术方案投稿至CVPR2023并被录取。
3、长视频拆条和事件检测
对视频进行时序结构化解析,按照不同粒度对视频进行切分,为进一步视频检测和识别提供基础。

1、3D结构光/TOF活体检测的技术探索与落地
完成支付级别的活体产品,获得银联BCTC认证。解决高逼真3D攻击等历史难题,减少极端光照真人错误率,保
证真人在各种环境下均能正常通过。实测效果远好于竞品。建立完善的模组量化评估机制并推行至各业务线,
减少模组不稳定因素对检测结果带来的干扰。构建并在各业务线推行质量模型,使活体模型的使用得以标准化。
2、深度伪造与检测的研究与落地
搭建深伪闭环框架,形成深伪攻与防闭环通路,减少深伪项目的数据成本,提升伪造的逼真程度。
提升未知攻击类型的泛化能力,在只有少量badcase且无法复现的情况下,提升该类型攻击的防御能力。
3、构建和孵化商汤初代视觉通用大模型-书生
国内首个覆盖多个任务的视觉大模型,通过更好的上游预训练方式,在下游任务中提升小数据量下的精度。
出版物
Noisy Label Cleaner: Learning Scene-aware Trailers for Multi-modal Highlight Detection in Movies.
CVPR2023 一作
ForgeryNet: A Versatile Benchmark for Comprehensive Forgery Analysis. CVPR2021 Oral 一作
D3G: Exploring Gaussian Prior for Temporal Sentence Grounding with Glance Annotation. ICCV2023
NewsNet: A Novel Dataset for Hierarchical Temporal Segmentation. CVPR2023
Few-shot Forgery Detection via Guided Adversarial Interpolation. Pattern Recognition, 109863
[专利] 数据集生成、伪造检测方法、装置、电子设备及存储介质
[专利] 攻破点测试方法及相关装置、电子设备、存储介质