1、语音唤醒

负责公司定制唤醒技术的研发,包括模型训练优化,引擎部署调优,应用于公司车载系统等业务。

从零到一实现了自定义唤醒技术的研发;包括了模型训练,以及实现引擎部署开发调优。

2、声纹识别

训练框架开发: Kaldi+PyTroch从零搭建训练训练平台,实现主流说话人模型(TDNN、FTDNN、ECAPA-TDNN等)以及

E2E说话人识别,该训练平台支持了公司说话人识别、情绪识别以及说话人性别、年龄、口音等算法。

说话人识别:负责核心说话人识别、说话人分离模型训练,完成多个版本的迭代,应用于公司司机身份验证、司乘角色分离

等业务。

推理引擎开发:从零实现语音线上推理引擎,支持不同硬件平台的优化开发。

3、开源项目

参与Delta(https://github.com/Delta-ML/delta)开发,包括deltann的开发以及部分模型的开发工作。

主导了Transform(https://github.com/athena-team/athena-transform)的设计开发工作。

参与了Athena(https://github.com/athena-team/athena)的开发。

负责公司语音线上推理引擎开发

从零主导设计并实现了语音线上引擎开发,支持不同的硬件(GPU、CPU)平台,以及语音识别新算法(如LSTM等)实现

并针对GPU硬件的优化,实现多线程GPU线上语音识别,与原有语音识别引擎相比吞吐量提高5倍,实时率提高了约25%。

核心blas库支持不同硬件(X86、ARM)平台汇编级开发优化,以及实现int8模型量化优化等。

1、负责语音分布式训练框架开发

参与设计模型参数更新方案的开发:不同节点采用了环形并行计算异步更新方案,不同节点GPU通过IB网络提速节点之间的

通信速度, 终完成GPU集群版的分布式并行算法,实现4节点16块GPU卡线性13倍加速,大幅减低了语音模型训练时间。

2 、开源框架caffe的优化

基于caffe实现ARM端上线上引擎开发,针对caffe对内存的消耗较多,采用层间内存重用(下一层的输出重用上一层输入)的

优化算法,减少内存消耗96%。

采用开源的nnpack库替换caffe原有的im2col卷积实现算法,计算性能提高约25%。