对话摘要项目
任务：基于坐席与客户的对话生成包含进线原因、客户诉求和坐席方案等信息的摘要描述。通过模型的自动化
填写代替坐席的手动填写，降低坐席的平均服务时长，提高坐席的工作效率。
工作：作为主要负责人之一参与了工程链路设计、模型选型、数据处理、模型训练、模型部署、效果回收及迭代
优化的整个过程。原方案为多任务分类模型（BERT），业务的可迁移性较差；重新设计后方案改为抽取（CNN）
+生成（UniLM、T5）方式，在半年时间推动该方案在热线 Top20 业务上线，并经过多轮优化（数据清洗、模型
升级、推理加速等），将摘要平均采纳率提高到 70%+，降低坐席的平均服务时长 20+s。为了进一步降低成本，
探索基于 prompt 的多业务融合生成模型，实现一个模型覆盖 10+业务，将机器利用率提高 3~5 倍。此外，基于
该项目产出专利一项《一种对话文本摘要生成方法》，内部定级为重要专利。
收获：在该项目上用到了 NLP 的各类模型（分类、序列标注、抽取、生成等），对这些模型在业务上落地有了较
深的理解；熟练地掌握了各种数据处理方式，包括伪标注数据的构建、人工标注数据的质量把控等；此外，对协
调各方解决工程链路问题也积累了一定的经验。
Ø 通用大语言模型项目
任务：设计和训练通用大语言模型，实现类 ChatGPT 的效果。
工作：参与基于人类反馈的强化学习（RLHF）部分的设计和实验。分了两个阶段，第一阶段验证强化学习的有
效性：利用 TRLX 框架在 TL;DR 摘要任务上复现 OpenAI 的结果，完成了 SFT、Reward Model 训练、PPO 训练
三步训练，人工评估 PPO 训练的模型优于 SFT 模型，FPR 提高 0.24（0.42->0.66）。第二阶段利用强化学习来优
化 SFT 模型，工作包括：调研大规模强化学习训练方法，设计和复现强化学习用于大语言模型的多机多卡训练
方案，目前采用 DeepSpeed 框架跑通了 PPO 的多机多卡实验；调研和设计大模型的评估方法，侧重在模型的无
害型的评估，目前仍在进行中。
收获：对当前主流的大语言模型有了较为广泛和深入的调研；对强化学习用于语言模型的训练有了较为深入的
理解；对大规模强化学习的分布式训练方法、大语言模型的效果评估有了一定了解。
Ø 新知识点挖掘项目
任务：坐席在服务过程中，如果遇到用户提出的一些未被当前流程所覆盖的新问题，往往不知道怎么处理，影响
了工作效率。本项目探索新问题的自动挖掘方法，利用这些方法挖掘出新问题并反馈于运营，运营对这些新问
题定义处理流程，进而方便坐席按流程处理。
工作：提出了有效语句识别+聚类分析的新问题挖掘框架，有效语句识别采用规则过滤，聚类分析采用基于句向
量的层次聚类。这里的关键在于如何获得具有细粒度语义区分能力的句向量，方法是利用人工构建的业务伪标
注数据训练 sentence-BERT 获得句向量。在骑手业务的三个细分场景上定义了问题空间，其中 35 个已知问题、
b42a3bcca07b54f01XV53tu7EVpTwpG7UPKfROaq
b42a3bcca07b54f01XV53tu7EVpTwpG7UPKfROaq
7 个未知问题，相比于未训练的 sentence-BERT，最优聚类效果有明显提升：P=0.71 (+0.53)，R=0.83 (+0.18)，
F1=0.76 (+0.37) ，对未知问题的准召分别为 P=0.71,R=0.56.
收获：对句向量的训练和优化、聚类方法有了一些积累

Ø 国家自然科学基金重大项目“复杂大数据高效学习基础研究及其公共安全应用”---子课题《复杂大数据可解
释高阶推理方法》
作为子课题负责人主导了子课题申请书的的撰写。该课题主要研究复杂大数据可解释高阶推理方法，旨在通过
对跨模态多维高阶语义理解、多模态事理图谱构建、知识引导的时空线索挖掘方法、可解释高阶推理算法与软
件的深入研究，构建一套公共安全突发事件检测、溯源和态势预测系统，以实现对公共卫生安全突发事件、国民
突发舆情事件、国家安全突发事件的实时检测、准确溯源和长时预测。项目已获得资助。
Ø 青年科学基金 《基于知识推理的多模态预训练模型研究》
研究多模态知识图谱的构建方法、嵌入方法和推理方法，利用多模态知识图谱的显式知识指导多模态预训练模
型的训练，使其在知识学习的过程中具备推理能力，所训练的模型可以应用于视频标签、视频检索等下游任
务，基于这些思想撰写青年科学基金项目，但未获得资助。
Ø 博士后面上项目《基于无线电磁波的人体行为识别》。
基于室内 WiFi 信号进行人体行为识别，设计鲁棒的深度神经网络模型，对不同年龄和不同体型的人的行为例如
行走、坐下、摔倒、躺下等进行准确识别，撰写了基金并获得资助，但时间原因未实现。
Ø 半监督文本分类研究
研究半监督文本分类方法，设计了一种半监督文本分类框架：利用预训练模型和图神经网络迭代训练，预训练
模型为图神经网络提供句向量，图神经网络为预训练模型提供高质量伪标注，通过迭代训练可以有效提高预训
练模型在极少量标注样本时的分类效果。当每类只有 10 个标注样本时，所提框架可以使 BERT 在 AG News、
DBPedia、Yahoo!Answers、IMDB 四个数据集上的准确率分别提高 8.4 pp、5.3 pp、15.6 pp、11.3 pp。
Ø 基于知识图谱的问答与推荐系统
在网页上爬取 2 万+新闻文章，综合利用命名实体识别、主题分类、关键词提取、正则表达式等技术提取文章中
的实体和关系，利用 neo4j 构建知识图谱，基于知识图谱实现自然语言问答与相关文章推荐。
Ø 基于多模态预训练模型的视频和文本的两级分类方法
将视频和文本的双流预训练模型在开源数据集 HowTo100M 数据集上预训练，然后使用 S3D 模型提取视频特征，
BERT 提取文本特征，特征融合后进行两级分类，其中一级类别和二级类别分别有 43 和 293，参与了部分训练。
Ø AI 智能审图
提取 CAD 图纸和计算书中的文字、图形等，判断符不符合设计规范的要求，实现智能审图。统筹整个项目，在
合作方识别图纸参数后，负责将规范的规则翻译为正则表达式来实现审核。

6G 先行技术研究员
作为 6G 研究的主要负责人之一，负责全双工通信的研究，深度参与了全双工通信平台的搭建和演示，平台实现
了当时最好的自干扰消除性能；了解可见光通信、AI 与通信结合等潜在 6G 方向；使用深度学习方法实现了 40+dB
的数字域自干扰消除；撰写或合作撰写 15+相关专利。
Ø 3GPP RAN4 工作组参会代表
参加过十多次 3GPP RAN4 工作组的会议；负责 5G 标准中 RRM 文稿撰写与参会讨论；Cell detection，RSRP
measurement 等链路级仿真（C++）；NR 共存的系统级仿真（C++）。