工作内容: 负责深度学习相关技术研发,以及在英语教育领域的应用;跟进领域前沿技术,对现有技术方案进行持续改进。
项目经历: 英文作文手写识别: 分两步: 1,训练模型,使用了 CRNN(CNN+LSTM+CTC loss)模型,输入是单行手写图像,输出 CTC path,然后坍缩成 label;2,图像预处理,主要从一张完整的作文图像中切出每一行输入神经网络识别,考虑了各种复杂书写情况,分别尝试了基于规则的方法和基于 FCN 的方法。英文语音识别引擎搭建: 主要基于 VGG+LSTM+CTC 训练;口语 freetalk 打分: 提取语音声谱图特征,使用 CNN 进行得分拟合;中英翻译打分: 对中英翻译进行 word 级别的评估,基于 Transformer 和 FairSeq 模型。