业务简介:服务于新闻、学术搜索算法业务,参与搜索算法体系重构升级,负责召回、排序模型的建模和优化。

1、语义召回模型优化:

一期,采用双塔式 BERT-base 建模查询和文档的表示进行相似度计算,线上覆盖率:Top20 结果包含语义召回比例提升+29%;二期,基于 Patient-KD 方法,选取 RoBERTa-Large 模型作为编码器,将其建模能力蒸馏至 BERT-base 双塔架构,模型精度无损,语义索引存储规模降低-13%,整体搜索入口延迟降低-10%。

2、同义词挖掘:

一期,基于 SynonymNet 方法,利用多个上下文之间的双向匹配,发现同义实体;二期,基于 SynSetMIne 方法,构建利用神经网络表征的同义词集合,挖掘同义实体。

3、pctr 精排模型精度优化:

一期,将多种搜索结果页预估模型,整合到统一的多目标模型中,采用 MMoE 多任务学习方法,平衡 Pctr 与阅读时长双目标预估精度,Pctr 提升+1.3%;二期,尝试考虑多 Expert 间交互,构建 PLE 多目标模型,优化模型精度。

4、搜索建议排序模型优化:

一期,对搜索建议点击率、结果页 Sctr、阅读时长等目标,进行 MMoE 多目标学习,搜索建议点击率提升+1.5%,结果页Sctr 提升+0.5%;二期,根据用户搜索日志,应用时间序列模型挖掘新词,补充时间敏感型搜索词,搜索建议点击率提升+0.4%,结果页 Sctr 提升+0.2%。

职责业绩:

国内网络支付交易转接业务--支付机构交易量异常检测项目

1、业务场景:面向国内 200 余家第三方支付机构,实现交易量平稳波动区间预测,落在区间之外的实际观测定为异常,以实现异常流量监控功能。

2、模型迭代:独自完成产品设计、模型研发及线上部署工作。模型部署至 Spark,以实现任务监听与执行,已实现三版模型迭代工作。

V1.0:以单变量时序预测模型 Facebook Prophet 作为学习器,实现各机构交易量区间预测异常检测。模型准确率为95.68%,召回率为 93.35%。

V2.0:为支持多变量时序数据输入,以 LSTNET 作为学习器,实现各机构交易量区间预测异常检测。模型准确率提升至96.12%,召回率为 95.52%。

V3.0:搭建 Stacking 集成学习模型,以 Facebook Prophet、LSTNET 作为基学习器,实现各机构交易量区间预测。模型准确率提升至 97.94%,召回率为 96.63%。

V4.0:将 MTNet(AAAI 2019)作为集成模型新增基学习器,在识别长短期特征基础上,进一步引入时间维度上 Attention机制,以提升模型准确率。

3、业务价值:为监控告警团队输出智能阈值告警系统,实现指标阈值设置从人工->自动设置,消除人工经验不足带来的设置误差,最大化减少报警不准确性。目前已对 200 家支付机构交易量指标,实现智能监控告警。

4、技术共建:向团队输出标准化时序预测组件,带领团队由自动化运维向智能运维发展,显著提升团队运维效率。

央行备付金集中存管业务--支付机构交易金额预测项目

1、业务场景:面向国内 30 余家重点支付机构,实现每日备付金出金金额预测,以作为支付机构在央行存管的备付金可用额度参考

2、模型迭代:

V1.0: 以单变量时序预测模型 Facebook Prophet 作为学习器,实现各机构每日备付金出金金额预测。预测模型 SMPAE为 0.057。

V2.0: 通过时间序列插值算法(E2GAN),补全支付机构出金交易金额缺失数据,从而基于 Facebook Prophet搭建交易金额预测模型,预测模型 SMPAE 为 0.033。

3、业务价值:为备付金团队输出机构备付金额度管控工具,针对不同交易特点的支付机构,提供每日备付金出金金额预测。实现机构备付金合理调拨,有效减少机构出金失败次数。模型同时输出给业管部门,作为经营决策参考。

2020 百度语言与智能技术竞赛--关系抽取任务

1、项目简介:在给定的文本句子中,根据预先定义的 schema 集合,抽取出所有满足 schema 约束的复杂 SPO 三元组。竞赛使用 DuIE2.0 中文信息抽取数据集,包含超过 21 万中文句子及 48 个已定义好的 schema。数据集中的句子来自百度百科、百度贴吧和百度信息流文本

2、模型构建:遵循论文 CasRel(ACL 2020)的思路,采用实体和关系的联合抽取,并基于层叠式指针标注框架进行训练,以解决嵌套实体识别问题。模型首先将 XLNET, ROBERTA, BERT-WWM 预测 subject 的概率做加权平均,识别三元组 SPO中的所有 subject,然后遍历所有关系,判断 subject 和特定的 predicate 是否有 object。最终成绩 f1 为 74.38%。

2019 CCF 大数据与计算智能大赛--互联网金融实体发现竞赛

项目简介:对约 1 万条金融网络文本进行金融实体识别,包括金融平台名、企业名、项目名。

模型构建:采用模型融合的方法,首先将四种异构单模(BERT + CRF、BERT + SPAN、动态权重 BERT +CRF、动态权重 BERT +SPAN),分别搭载预训练模型{BERT_WWM, ROBERTA}得到八种异构单模;进而将 recall>0.64 的异构单模抽出来进行预测,得到每个异构单模的文字结果,并设置阈值 threshold=ensemble_model_num / 3, 当实体在 threshold个以上的模型出现时,则保留。最终成绩 recall 为 65.90%。

—— END ——