(1)人脸算法在rv1109平台的移植部署

(1-1)基于rknn完成人脸检测和识别算法模型量化,精度损失在1%以内

(1-2)独立完成检测、跟踪、识别算法的c++代码开发和对接

(1-3)配合上层应用,集成到实际闸机产品,满足业务方实时检测性能,整体流程在150ms完成一次

识别,并已落地在5+工地项目应用;

(2)边缘端ai模型部署框架

(2-1)主导设计并实现了框架代码

(2-2)支持多硬件(cpu,gpu,npu)、跨系统(linux,windows,android),可移植性高

(2-3)自定义模型格式以支持模型加解密,具备较高算法模型安全性

(2-4)支持c、c++、python接口调用,可扩展性较好

(3)模型训练部署平台(PDL)组件开发,为算法PDCA闭环提供保障

(3-1)完成模型转换组件开发,实现ptorch模型到onnx,savedmodel格式相互转换

(3-2)完成模型量化组件开发,自动化利用tensorrt、ppq,rknn实现onnx模型到 engine、rknn等

格式的转换

(3-3)完成模型部署组件的适配和开发,支持triton、tf-serving、和算法sdk输出

(3-4)支持tf-serving和triton-server多后端的加密模型加载和推理

(4)施工运单识别算法在rk3399pro硬件平台的移植部署

(4-1)与另外一位同事,一起完成整个ocr算法框架和开发,调试工作

(4-2)与算法同事配合完成ocr算法的优化,从3.3s->2s

(4-3)算法V1.0 版本采用cpython+cpp方式将算法代码和模型加密,达到快速验证商业价值和试点,

(4-4)算法V2.0采用cpp重写,保证算法的跨平台、规模化推广

(5)具备多款边缘设备的模型移植部署经验,比如海康智能相机、华为小站、AI盒子(RK系列)

熟练掌握常见AI框架(tf,pytorch)的模型移植、量化、加速和优化手段,业余时间喜欢逛github,

学习优秀开源项目,有为多个开源项目(mnn,tengine-lite,megengine,tim-vx)提供过 pr,

https://github.com/zjd1988。

负责嵌入式和服务器图像三维重建算法优化工作,

(1)在popsift开源项目基础上独立完成vlfeat sift算法的修改和GPU的移植,较cpu算法提升15~

20倍提升;

(2)使用tf-tensorrt在GPU完成hfnet模型(图片特征提取网络)在服务器部署,较tensorflowc++有较大

提升;利用开源mnn框架完成hfnet模型在ios和android端(高通芯片)的推理和内存优化,包括新增不

支持算子和解决渲染卡顿问题;

(3)suitesparse/ceres计算库的cuda适配优化,显著提升建图效率(大场景建图节省到原来1/3时间);

(4)定位服务代码的开发和优化,主要设计网络模型基于tensorrt的加速和描述符匹配算法的cuda实现,

自行设计实现了一个基于tensorrt推理接口框架,方便新模型从原始的onnx转成engine,并且可以自行添

加自定义op和前后处理,加快模型的移植(有在github开源);

(5)参与公司商业AR沙盘项目,期间通过裁剪网络模型分别运行在npu+gpu的方式,最终实现定位服

务在华为手机的移植和商业落地;

(6)基于flask设计模型推理网络服务的基础框架,兼容多种网络类型(分类,检测,分割等),适配triton、

tf-serving和onnxruntime等多种推理后端。

(1)参与了深度图多距离标定算法优化项目(arm neon优化),达到实时处理目标;

(2)参与人体骨骼提取算法的cevaxm4平台的移植和优化工作,并主力承担后期算法的调试和问题定位

工作,最终达到骨骼实时识别性能;

负责 L1 协议栈和相关算法在 DSP 开发和并行优化