2020.02—2020.03 trtis custom backend mxnet
项目描述:业务上有将mxnet模型接入trtis的需求,而trtis推理调度不支持mxnet,因此需要在trtis平台添加mxnet支持。
项目职责:根据trtis custom backend和mxnet文档及源码,基于c/c++开发trtis支持mxnet的插件。
项目成果:
1. 完成了trtis的mxnet支持,成功接入mxnet模型推理,也进一步熟悉了trtis的源码结构;
2. 根据需要实现了在mxnet源码中接口的添加。
2019.11—2020.01 mxnet模型转tensorrt
项目描述:为摆脱模型交付对训练框架的依赖以及应对模型预测加速的需求,采取将需要模型转化到tensorrt框架下进行推理的方案。
项目职责:根据构建的模型网络图以及tensorrt本身的约束,将模型文件转为tensorrt推理要求的文件格。
转化过程根据需要,开发基于c/c++的算子。
项目成果:
1. 部分模型文件的转化成功,并且转化后推理结果的一致性符合要求;
2. 实现了ROIAlign算子在tensorrt上的移植。
2018.08—2020.03 业务算法服务工程化
项目描述: 为了加快推理速度以及与后端解藕,将模型端算法推理代码重构成执行效率更高、维护成本更低的go 代码,打包成docker,通过grpc与后端通信。
项目职责:
1. 负责四条业务线的工程交接。与前后端共同制定接口proto,与后端通过grpc通信;
2. 根据proto 及算法的main.py着手服务端go重构的设计与开发,要注重逻辑重构;
3. 开发完毕后以docker 的形式进行服务交接,并编写好交接文档,文档中要包含启动方式和各项性能指标;
4. 负责相关业务线的功能迭代与维护。
项目成果:
1. 四条业务线的工程重构完成,以docker 的形式通过grpc与后端通信,提供了稳定的服务;
2. 代码架构合理,可读性和可复用性强,降低了维护成本,可以快速进行更新迭代。
2017.12—2018.04 DR-chest病灶的检出
项目描述:基于yolov2 模型,检出DR-Chest图像中的病灶。由于图像中病灶本身有一定的不确定性以及不
同医生对不同病灶的认知略有差异,项目难度较大。
项目职责:
1. 模型的设计,基于yolov2和现有数据的特点调整网络的结构和数据预处理参数;
2. 数据整理,与医生及其他项目成员交流,制定出一套标记规则,根据病灶特点尽量统一各医生的标记标准。
项目成果:
1. 三类病灶的检出效果相比之前提升显著;
2. 规范了标记规则,提供了一套可以沿用的数据标注标准。