翻译模型提升鲁棒性
背景:用户输入query,经常会出现语法错误,导致翻译效果不佳
策略:参考multi view learning,将其移植到NMT模型训练中。人工生成噪音数据参与训练,每批噪
音都看作一个view,不同view表示不同类型的语法错误。通过KL距离度量各个view与真实label概率
分布的差异,将其作为辅助loss加入训练。
收益:负责该思路的设计与实现,模型在噪音多个测试集上有平均0.7BLEU的提升。
机器翻译训练推理框架重构
背景:shopee机器翻译框架是fairseq的封装,推理部分采用的是lightseq,其仅支持Transformer,
不够灵活
策略:通过torck export将ckpt转onnx格式,然后利用tensorrt调用翻译模型onnx文件。为了兼顾
lightseq,对于微小修改的模型,通过修改、编译lightseq源码,实现其模型推理。
收益:负责tensorrt调用onnx文件的python(c++)api的开发,编译lightseq源码。

自适应标签平滑
背景:机器学习领域存在double-decsent的现象,猜测机器翻译模型训练中也会存在。
策略:此工作提出了一种自适应标签平滑的方法,在模型训练过程中,模型预测的概率分布为p,保
留分布中概率最大的值w,将其他值设定为(1-w) / (vocab_size - 1),得到一个新的概率分布p1,用
p1矫正p,p=alpha*p+(1 - alpha) * p1。
收益:负责该思路的实现与模型训练,在百度中英70M数据集、垂类领域(印地语、维语等小语种)均
有0.6bleu的提升。
领域翻译术语注入
背景:ToB项目中存在专业术语严重错翻的现象,在保证模型bleu的前提下,提升译文术语出现率。
策略:针对训练数据,通过fastalign构建术语表。同时出现在源端和目标端的术语,通过向平行语料
的源端追加目标端术语词,构造伪数据参与训练。
收益:负责代码实现与模型训练,在百度翻译金融领域数据集(5M)上模型bleu值、译文术语出现率分
别提升了9.8(37.9->47.7)、9.7pp(65.34%->74%)。
机器翻译语言模型自训练
背景:在机器翻译任务中引入语言模型的自训练,增强翻译模型的语言表征能力。
策略:此工作复制Transformer 中Encoder的输入,对其中一份输入做类似BERT的mask处理。
Encoder的输出分别用于语言模型预测层的输入、翻译模型Decoder的输入,实现2个任务同时训
练。
收益:负责该思路的设计与实现、模型的训练,在百度中英70M数据集上,训练时 间减半,追平线
上模型的bleu值。撰写一篇专利。

层聚合机制
背景:Transformer是端到端的模型结构,其Encoder、Decoder均是多层的堆积。Encoder、
Decoder仅仅最后一层输出参与Decoder解码和模型结果的预测,未能充分利用Encoder、Decoder
每层的输出。
策略:此工作提出了利用层聚合机制,实现类似二叉树结构,聚合Encoder、Decoder每层的输出,
从而实现对Encoder、Decoder每层输出的充分利用。
收益:负责该思路的设计与实现、模型的训练,在wmt14英德、英法数据集上分别取得了1.19、
0.35bleu值的提升,撰写一篇论文、专利。
深度方向循环多个共享层
背景:如何训练更深的模型,是机器翻译领域的一个热点。单纯加深或加宽模型结构,会带来梯度
爆炸(消失)或者oom的问题。
策略:此工作提出了一种在深度方向上循环加深模型的方法,通过循环共享Encoder、Decoder的参
数,完成80层编码端模型的训练。
收益:负责该思路的设计与实现、模型的训练,在wmt16英德、英法数据集上分别取得了2.2、
3.1bleu值的提升,撰写一篇论文、专利。
获奖、论文与专利
WMT2019国际机器翻译大赛中英翻译赛道第2名,英中翻译赛道第1名;
荣获百度翻译Q2优秀项目奖;
KingSoft’s Neural Machine Translation System for WMT19 (ACL2019);
Residual Tree of Aggregation Layers for Neural Machine Translation;
Recurrent multiple shared layers in Depth for Neural Machine Translation;
神经网络模型的训练方法、装置、电子设备和存储介质 申请号: CN202011439351.4
翻译模型的训练方法、装置、电子设备及存储介质 申请号: CN202110737812.4
语句翻译模型的训练方法及装置、语句翻译方法及装置 申请号: CN202010297142.4
一种翻译方法及装置、翻译模型的训练方法及装置 申请号: CN201910156530.8
语言处理方法和装置、语言处理系统的训练方法和装置 申请号: CN201910105021.2
一种数据处理方法及装置 申请号: CN201910469361.3