知识对话生成 技术owner 2022.08 – 至今
1. 背景:在人机交互过程中,robot对于偏知识答复质量,特别是常识性知识答复的质量会直接影响到聊天体验,因此生成
正确的知识将有效提升整体聊天质量
2. 系统构建:
a) Prompting知识生成
i. 基于对话历史检索用于知识生成的prompt:构建知识样本库以及知识生成prompt构造
ii. 基于检索到的prompt集合结合对话历史,借助预训练语言模型进行知识生成
iii. 近似于大模型few-shot进行推理
b) 基于向量的端到端知识对话生成
i. 构建基于Passage的向量检索库
ii. 基于用于query和对话历史进行向量检索
iii. 通过对话生成模型进行推理
c) 答复生成:参考LaMDA,基于对话历史context使用GPT大模型进行生成回复base,结合知识对话模型判断是否
要接入外部知识;通过判断不同场景生成不同回复
3. 效果评估(response)
a) 自动评价指标:F1 0.531 , BLEU1/2 = 0.511/0.466
b) 采用0123分人工评价,SSA=0.44,SSI=0.296
情感陪伴对话 技术owner 2022.02 – 2022.07
1. 背景:打造情感陪伴对话系统,做每个人身边的”大白”;心理轻咨询,当用户需要专业咨询介入的时候能及时发现
2. 系统构建(分别构建了检索式和生成式,限于篇幅这里重点介绍生成式):
a. 借鉴prompt方式构建base方案:通过挖掘心理论坛语料,将input和response type一起通过BART模型进行
生成
b. 融入要素知识的提问生成,降低主题漂移/通用回复:加入topic和要素mark,0分比例较base版本下降4%
c. 引入情景推理NLI的建议生成,降低信息过载:加入NLI模型进行重排序,有效降低信息过载比例
d. 引入常识推理,增强主诉理解:通过构建常识库,将常识推理与语言模型进行融合。相关性基本不变的情况下,多样
性提升6%
3. 效果评估:
a. 自动评价指标:Dist-1:4.7%,Dist-2:25.23%,Dist-3:42.26%
b. 采用012分人工评价,SSA=0.87

快手电商自研智能客服 业务owner 2021.05 – 2021.09
1. 背景:通过自研智能客服,宣导商家使用并且运维智能客服,拉动商家整体客服响应速度,更好地解决消费购物疑虑,提
升成交转化效率
2. 系统构建:
a) 召回:构建ES字面召回和基于pairwise的语义召回,实现双路召回,top@50的召回率接近90%
i. 基于对比学习思路,加入simcse召回,同等情况下,top@50召回率90% -> 93%
b) 精排:构建ALBERT + MLP交互式模型结构,其中loss采用listwise中lambda rank中的loss,评价指标引入
NDCG,根据相关性进行回答。首版上线准确率84%,召回率70%
i. 基于FGM的对抗训练实验,准确率84% -> 87%
3. 业务成效:截至8.2,根据GMV分层数据对比,70家内测活跃商家3分钟回复率提升40%,平均回复时长由1306s缩
短至156s

抖音电商面向商家的图谱问答机器人(从0-1) 业务owner 2020.09 – 2021.02
1. 背景:在电商场景中,无论是商家开店入驻还是售卖商品,都离不开类目与商品库的构建与结合,基于提升商家入驻效率,探
索售前导购实现与知识图谱结合的初版问答机器人
2. 知识建模:
a) 新实体发现:从商品标题、用户query中挖掘新的类目和属性
b) 知识获取:通过实体链接和关系抽取将实体和标题、query中的信息对应起来,同时抽取实体间的关系,比如从软文中抽
取成分=”烟酰胺”和功效=”美白”之间的关系
c) 知识融合:主要是针对多个商品是否是同款商品进行冲突处理
3. 问答机器人构建:
a) 基于多任务学习思想,分别实现基于CNN的字词混合模型和基于BiLSTM+CRF的槽位识别模型,联合识别准确率93%,
召回率为85%
b) 针对商家咨询问题,结合SOP自助化给予问答入口,通过知识查询获取属性答案
4. 业务成效:有效地解决率商家咨询难题,拦截商家咨询量25%,打通了基于图谱问答的链路,针对导购营销进行了有力的探
索
电商智能客服问答机器人(从0-1) 业务owner 2020.03 – 2021.03
1. 背景:传统客服过度依赖人力,存在用户操作繁琐、问题解决周期长、企业成本开销大等缺点,为了更好的提高客服人效和用
户体验,从0-1实现了基于电商背景的问答系统
2. AIBoost数据回流闭环构建:
a) 获取原始用户query,使用SentenceBERT/Word2vec提取句向量,并用Kmeans/DEC进行离线聚类,使用文本相似度
计算获得聚类后的相似问题,
b) 针对badcase,对少样本数据通过EDA与UDA进行数据增强
c) 联动业务部门形成了有效的知识与数据闭环,并将最终数据沉淀为结构化知识库
3. 对话系统构建:使用分层分领域的框架设计,基于意图识别和QA问答为核心构建全链路的问答系统
a) 规则干预引擎:针对线上的高危词、敏感词与常见短语,加入基于规则的干预机制,基于精确匹配,分别融合词槽和通配
符进行快速识别与结果干预
b) 语义意图识别
i. 将用户query结合上下文,通过分词词性标注,并加入领域数据训练基于ALBERT的多分类意图识别模型,将语义识别
结果通过路由进行转发
ii. 由于实际线上出现文本缺失、不明确或者不完整,加入用户行为特征提升意图预测准确率(87% -> 91%)
c) 基于IR模型的QABot实现
i. 提问处理模块:文本预处理(指代消解)、分词处理(中英处理)
ii. 召回模块:基于ElasticeSearch+语义召回的双路召回实现
iii. 文本匹配模块:结合传统相似度计算方法与深度学习方法进行文本相似度计算,主要模型采用Enhanced RCNN,准确
率离线评测94%,召回率87%
iv. 答案回复模块:根据用户咨询订单状态给予个性化回复;并引入lightgbm排序模型对最终结果进行Rerank,添加阈值
策略,结合排序结果分别进行唯一回答、中置信列表回答和兜底问题推荐
4. 业务成效:主动推动,协同技术中台部门进行SOP自助化服务构建,目前问答机器人已接入电商多条业务线,节省人力45%,
大幅提升运营效率,日均降低人工会话11.74万,降低工单8.7k

58智能客服问答机器人 主要负责人 2018.09 – 2019.12
1. 问答知识库构建优化:在已有基础上实现半自动化挖掘新问题扩展知识库流程(TextCNN、Word2vec、Kmeans/DEC)
2. 文本特征构建:对用户提问问题进行非关键词分词,生成关键词+字特征。在此基础上,进行停用词过滤、特定词性符号替换
(地名、助词等)
3. 模型迭代:在已有基础上(FastText),分别进行了3次模型迭代(TensorFlow框架):
a) Ngram+BiLSTM+DSSM: 预训练word2vec, 构建字符级别Ngram,通过BiLSTM识别用户问答真实意图,并根据识
别结果进行多分类,加入策略阈值。Top1准确率为90.8%,较FastText提升7%
b) 预训练LSTM+DNN:为了解决特定场景下问题不能回答的情况,实现预训练LSTM模型,预训练embedding vector,
加入DNN进行分类,在预训练基础上进行微调。Top1准确率为92.3%
c) Bert-FineTune: 利用官方提供的预训练中文Base模型(12层),修改优化器与MASK方式。通过裁剪和剪枝,使得模型
接近上线水平。实验Top1准确率为93.8%
58智能客服TaskBot任务对话机器人 模块负责人 2019.10 – 2020.01
1. 背景:为满足用户通过智能客服进行租房的需求,在问答机器人中接入租房TaskBot服务。当用户在聊天中输入”租房”直
接触发。在该项目中主要参与负责了联合识别模型的实现
2. 联合识别模型实现:实验对比了 IDCNN+CRF 和 BiLSTM+CRF 的效果,综合 f1-score 和准确率、召回率,最终选择
BiLSTM+CRF模型。该场景下,意图共6大类,22小类,52类实体。上下文意图模型准确率:97.23%,槽位准确率91.59%,
意图-槽位联合识别准确率:88.48%
3. 模型优化:
a) 针对 BiLSTM 和 CRF 两个 loss,按 batch 对 loss 放缩:loss = loss1+a*loss2
b) 添加 layer normalization 可以提升 intent 效果 2-3 个点
c) 添加多任务学习共享信息(同时进行分类和抽取槽位任务)