职责

我的主要工作是在不同的硬件上部署深度学习网络模型,比如Nvidia GPU和地平线J3板子。为了使得推理软件兼容不同平台,首先用UML设计抽象接口,在开发工程中应用到一些设计模板。结合中间件,推理得到的结果会被传给下游模块。同时为了加速预处理和后处理,也会用到多线程库,比如openMP,CUDA和NEON。

业绩

搭建起模型推理软件框架,应用到不同的项目中,节省了开发成本。重构代码,使得原本只兼容arm 的代码,也兼容x86平台,使得在PC上调试成为可能,加快软件开发速度。多次帮助团队定位代码bug,并且解决bug。

项目

1. 应用于城区自动驾驶的感知软件开发

软件环境: Linux

硬件环境: Nvidia GPU

开发工具: VSCode, git, gitlab, CMake, C++, CUDA, tensorrt, openMP

项目描述: 探索最前沿的技术,并且把最新的模型应用到于城区自动驾驶,以更好感知障碍物和车道线。

责任描述: 部署最前沿的模型,比如3DOD和BEV Lane模型用于障碍物和车道线识别。用tensorrt加载,量化onnx 模型,编写模型推理模块,使得模型能够在Nvidia GPU上运行,把推理得到的3D 障碍物信息和车道线信息传给下游。

2. 应用于商用车ADAS感知软件开发

软件环境: Linux

硬件环境: 地平线J3

开发工具: VS Code, git, gitlab, CMake, C++

项目描述: 这个项目的目标是实现高速路场景下的道路居中和变道辅助。深度学习神经网络被部署到地平线J3板子上用来感知障碍物和做车道分割。推理得到的感知将结果会被传给下游继续做些后处理,比如说目标跟中和线拟合。

责任描述: 重构代码,使得代码兼容x86和arm平台。不同的模型被部署在地平线J3硬件上用于障碍物识别,障碍物分类和车道线分割。搭建模型推理软件模块,接口中间件,把推理结果传给下游继续做后处理。因为硬件算力有限,大模型被分为几个小模型,分别跑在不同的硬件单元上做推理以提高速度。

职责

计算机视觉技术可以被应用到汽车和工业领域。按敏捷开发流程开发计算机视觉软件。开发功能实现监视障碍物检测模块的功能失效,以满足功能安全需求。

业绩

成功用CUDA实现算法加速,开发可视化软件,成功在量产前找到软件bug。

项目

1. 多功能前视摄像头开发

软件环境: Windows, Linux

硬件环境: SOC

开发工具: Visual Studio, git , CMake, C++, Qt, googletest

项目描述: 开发用于自动驾驶的多功能前视摄像头用来可靠地检测物体。该前视摄像头结合了传统图像处理和人工智能算法为了更好的分析场景和可靠地检测物体,可以用来开发驾驶辅助功能比如道路偏离预警,自适应巡航,智能限速等。

责任描述: 传统图像处理用于检测车道线,比如计算梯度。主要任务为编程使得车道线检测算法可以移植到专门用于图像处理地硬件上。为了验证算法结果正确性,开发基于Qt的可视化软件。用googletest编写单元测试和集成测试。

2. 摄像头检测篱笆缺口的可行性研究

软件环境: Window, Linux

硬件环境: Jetson nano

开发工具: VS Code, git, CMake, C++, Cuda

项目描述: 这个项目的目的是研究用摄像头来监视篱笆缺口的可能性。图像处理算法耗费时间太久,导致不能满足实时性要求。为此,Nvidia Jetson Nano用来加速算法。

责任描述: 加速图像处理算法,比如模板匹配。为此,编写专门的cuda核函数。