深圳-南山区

1. 从0到1搭建了start-up开发团队,打好了公司快速发展的坚实基础。带领团队实现了技术突破。
2. 基于VCS等EDA工具和自研的CORE,从0到1实现了GPU图形渲染管线的图形概念模型。
3. 搞定了除了IC设计之外所有软件环境,EDA环境,的初始化搭建。
4. 基于EDA搞定了自研核心ALU的裸机上进行open-gl、渲染管线生成图形。
5. 半年内实现了公司估值数倍翻倍达到10亿。
6. 基于SystemVerilog和UVM搭建SOC/GPU/CPU对芯片和系统搭建验证平台。

参与AI/GPU芯片的IP ,SOC芯片的微架构定义,功能,测试逻辑等的设计与验证。

为公司的AI/GPU芯片Bring up

为公司AI/GPU芯片和仿真研究内核态和用户态驱动技术支持,技术路线研究,linux 图形技术全栈研究。

追踪最新GPU/AI/NPU/SOC芯片,AI加速器芯片的技术发展方向和驱动技术研究。

研究UVM验证平台的搭建,并实现了基于RISC-V的CPU/GPU芯片级,系统级的验证平台的搭建。

研究opengl/openvx/cuda/opencl等图形图像处理接口

研究VBIOS的开发技术路线。

研究qemu,KVM,并且利用虚拟技术实现riscV下 pipeline,GPU /NPU AI加速芯片和图形渲染模型的点亮。

研究基于xilinx 的大容量FPGA下GPU/NPU的原型验证方案,block desgin,实现了基于xilinx FPGA 下PCIE 和linux host之间的驱动和PCIE IP核设计 验证。

实现了基于xilinx 大容量FPGA 下,GPU/NPU基于PCIE的通信。

研究了基于SOC的视频编解码技术,熟悉H264/ffmpeg/codec/等视频编解码技术,基于SOC做出了VRdemo。

实际使用过tensorflow,pytorch,paddlepaddle/paddle-lite。darknet,caffe。熟悉深度学习的训练和推理框架,掌握深度学习常用模型的全栈技术。

实际使用过matlab,vivado, verilog systemverilog,UVM , SVC,verdi/DVE , 等EDA工具的使用和环境搭建。熟练使用linux环境进行开发,riscV ARM 的指令集和汇编,熟悉gcc,llvm,tvm等编译技术。

熟悉C/C++,python,shell,perl,TCL,makefile,等开发语言。熟悉git,gerrit,repo,VNC ,docker ,Jenkins,jira,wiki,conflunce等的使用和环境搭建。

东莞-长安镇

采用darknet yolov4算法在二维码定位方面,部署到硬件NPU ,GPU上面,通过硬件加速提升了帧率。通过 剪肢,蒸馏,量化等方法,压缩了深度学习模型,提升了精度。这些是有实际项目落地。

研究了ssd,yolo算法在TVM图优化方面的编译优化方法。

研究了yolov3 yolov4的旋转目标检测方法的算法模型,研究其训练和部署方案。

研究cuda,opencl,openvx,对GPU,NPU的接口和驱动,实现了模型部署并且提升了性能。

研究darknet 在纯cpu和cpu+gpu,x86下gpu,arm 环境下mali gpu、npu的硬件加速算法。

研究了opencl下,amd,intel,invida的显卡驱动,掌握了opencl kernel的写法。

研究了opencl下,采用zero-copy辅助显存加速的方法。

研究了在opencl和openvx协议接口下,FPGA的加速方案,研究过Xilinx,的Vitis,zynq系列,深度学习方案。为了公司项目,自学了Xilinx,altera的FPGA芯片开发,对数字电路IC设计,verilog,FPGA图像采集和处理等相关知识。同时同步利用空余时间学习了大量的AI,计算机视觉的知识,项目管理PMP,敏捷开发方法等。

1,GPU加速 --在arm linux上,加速效果明显。

2,NPU加速,--在rk3399pro上,自己训练并且模型压缩的情况下,根据模型尺寸的不同, 可以做到80~100帧率的高帧率定位

3 ,FPGA加速,研究中,了解到可以做到50帧左右,应该可以做到更高,研究中。

4, 深度学习模型网络重构,调优,成功训练和部署了yolov4 深度学习模型到嵌入式端 边缘计算 jetson TX2,RK3399pro,以及通用pc上面。掌握了深度学习从网络架构设计优化,数据集增强,训练模型,模型压缩,模型量化,模型转换,模型部署到边缘设备和服务器设备上的C++ 和python的全栈开发能力。

深圳

负责公司嵌入式设备视频监控系统的目标检测,缺陷检测算法设计和功能实现

在linux嵌入式设备上,利用Caffe快速把SSD等模型训练(模型设计,数据收集,打标签,训练,模型转换,模型部署,模型推理验证)在瑞星微芯片平台RK3399PRO, +GTI加速芯片(Gyrfalcon Technology Inc, https://www.gyrfalcontech.ai/ )上实现目标检测功能,缺陷检测, 人脸检测 功能。

模型部署:在终端的主控芯片平台从云台camera中拉视频监控流抽帧用于模型推理,当检测到预先定义范围内的目标时候,把视频流和报警信息推入上位机。 GTI芯片方案比瑞芯微或者tensorflow lite 更加复杂。其模型训练分为浮点计算训练,卷积层量化训练,激活层量化训练,fusion融合训练。然后模型转换,模型转换还分为卷积层转换和ip层转换。

模型选型,模型设计,从数据收集和VOC数据集的制作,到模型训练,模型转换和模型部署与推理验证,以及定位集成到视频流的问题。

积极学习NLP,ROS,相关知识,为公司机器人产品做预研

一:聊天机器人项目实战

该项目是自己为了提升对AI技能的提升,自我驱动,利用python,nltk,自己查资料学习语音识别ASR,语义理解NLU,自然语言处理NLP,语言生成,TTS语音合成等功能模块的知识,收集语料库,自己设计并实现聊天机器人的演示产品,可以在PC上演示。计划后续聊天机器人可以集成人脸识别登录系统,并且结合微信小程序的方式部署到服务端。

二:NLP用于医疗文本分类训练项目实战。

https://www.flyai.com/ 医疗文本多分类项目,适合采用BERT。AI框架平台采用tensorflow keras,利用BERT,Transformer来提高分类精度,通过调整学习率,batch_size,文本预处理等方式优化,提升分类精度。当前达到该项目竞赛排名第二名,后续想通过Bert 加上CRF的方式在重构项目,预期使得排名达到第一名。

三:NLP基于bert的情感分类项目实战。

https://www.flyai.com/

四:熟悉ROS开发环境,有过机器人ROS语音NLP +SLAM 项目的预研。

这个项目是预研,自学了ROS系统理论,SLAM相关知识,并且搭建了ROS开发环境,ROS机器人,

利用深度相机采集点云数据,地图重建等。

五:目标检测项目

基于深度学习模型:YOLO3(Darknet),采用深度学习框架Tensorflow;在Ubuntu linux环境下配置CUDA和cuDNN利用GPU进行模型训练。并且部署到PC环境和Android设备上。熟悉android tensorflow lite,转化模型并部署到android设备上。

1:利用OpenCV和Python对视频读取分帧及预处理,处理anchor相关问题,以及打标签;

2:用如dropout、通过BatchNormal L2正则化、以及通过旋转,剪切,颜色和亮度变换等数据增强方式,进行数据神经网络训练和调优。自己用python+opencv写脚本对图片进行图像增强批处理,明显提高了模型的健壮性。

3:采用在已经训练好的模型基础上加入迁移学习,fine tune来提升模型的精确度等工作。

4:在linux嵌入式设备上,利用Caffe快速把YOlOV3,SSD等模型训练(模型设计,数据收集,打标签,训练,模型转换,模型部署,模型推理验证)在瑞星微芯片平台RK3399PRO/RK3328 +RK1808(加速芯片,相当于NPU,3Tops)上实现目标检测AI功能。

5:在linux嵌入式设备上,利用Caffe快速把SSD等模型训练(模型设计,数据收集,打标签,训练,模型转换,模型部署,模型推理验证)在瑞星微芯片平台RK3399PRO, +GTI加速芯片(Gyrfalcon Technology Inc, https://www.gyrfalcontech.ai/ )上实现目标检测AI功能。

六:智能人脸检测和识别

项目基于深度学模型MTCNN和FaceNet,深度学习框架Caffe,利用opencv2和pyton处理人脸视频数据,采用MTCNN方法检测人脸,FaceNet实现人脸识别。模型训练好以后,落地到android手机的人脸开机项目中。

1:Python和OpenCV对原始视频进行图像预处理,分帧,剪切,色彩变换,模糊,遮挡,等手段进行图像的增强

2:基于MTCNN实现人脸检测与对齐提取特征,查阅相关文献,搭建Pnet,Rnet,Onet实现人脸的对齐和检测,并利用FaceNet实现人脸识别。

深圳

AI方面的研发技能:计算机视觉 算法工程师

手机人脸识别Demo搭建:

在Ubuntu下搭建CUDA,cuDNN,GTX1070环境,tensorflow 架构实现mobilenet ssd等算法模型 ,落地到MTK平台的手机上。

摄像头对目标追踪技术,利用ssd算法,获取运动目标在视野内的相对位置偏移,从而驱动IP camera在云台的转动,实现摄像头跟随小孩转动,实现智能幼儿监控系统。

实践并掌握了TensorFlow AI架构,可以搭建Linux下windows下CUDA/cuDNN开发环境;可以把目标检测SSD,YOLO模型,人脸识别的mobilenet ,facenet等人工智能模型落地到android平台的手机。

8909W平台智能产品预研,完成bsp bring up,rf bring up,以及modem和 Android编译环境搭建。

MTK平台 mt6572 音频驱动分析,回声问题回声消除分析和解决 。mt6739 mt6763 平台特性分析。

由于公司计划转型做人工智能-智能音箱产品,利用业余时间,自学了,www.coursera.org上机器学习全部课程,以及李宏毅,林轩田的机器学习课程。目前利用离职找工作的空档,学习5G通信技术以及自学机器学习,深度学习相关课程。由于对python的熟悉,以及有良好的数学基础,对机器学习逐渐进入状态, 熟悉tensorflow架构下机器学习算法开发,对回归,分类,SVM,全连接FC神经网络模拟训练过。

建立了Anaconda 环境,在高通平台下,搭建训练相机的智能分类APP环境,进行TF App模拟训练,实现了视频分类,识别的功能。计算机视觉,目标检测,

Ubuntu下搭建CUDA,cuDNN,实现了SSD、YOLO目标检测模型训练。

进行了IP摄像头跟随拍摄目标的项目环境搭建和模型搭建

实现了mobilenet和facenet模型,并落地到android 手机上进行演示。

1、作为通信工程师,拥有近两年的MTK平台开发经验和十多年的高通平台通信开发经验,熟悉高通MDM系列平台MDM6k,7k,8k,MDM9X25,MSM8909,MSM8916,MSM8974,MSM8953,MS

M8976,SDM660,SDM710系列平台有做过数款数据开MIFI,以及智能手机产品。以MTK平台为主的MTK平台6737,MTK6763,MTK6762三个平台下:本人可以搞定MTK平台所涉及的所有老产品和新立项产品33B,H05H,D33A,M33A,H56A,P56A,A95C,A90L等,modem rf 驱动集成,modem问题定位分析,Sim卡驱动codegen.dws配置,sim卡不起网分析,modem启动失败问题分析,现网问题分析,实验室认证问题分析,volte注册失败问题分析,Android通信信号定制修改,漫游信号定制修改 ,以及A95C,A90L,A81C这几款美国产品的通信问题分析,等等。团队成倍提升的效率可以从项目数和人员数对比上看,之前通信团队人员5人,现在减少到3人,现在新立项并搞起来的项目10多个,超过之前一年半的项目数的总和。这些成绩的取得,和自己以下敏捷开发能力强相关

2,CIE,Devops,维护和改进 repo,gerrit,jira,Jenkins,对代码管理和敏捷开发过程进行系统优化。化繁为简,把以前繁杂和影响开发效率的流程进行简化自动化,提升开发效率。找出服务器性能瓶颈,提升和优化服务器配制和架构,提升开发效率。可以承担部分Android 系统工程师工作,为Android的系统架构,modem和android的编译,分支管理,新产品luanch特性控制,代码管理,kernel,bsp的基本架构,Recovery,OTA,代码衍生管理进行研究和决策,提升开发效率。对CIE代码集成和敏捷开发有深入理解,能根据公司的实际情况改进CIE 并优化迭代开发流程.

3 关于5G:对5G通信协议和高通5G RF driver的研究和理解.熟悉高通SDX50 ,SDX55 +SDM7250,SDM8250,熟悉高通最新的5G平台多款产品driver, rf card,多天线切换,CA/mimo,ENDC配置,熟悉5G仪表情况下获取5G log进行分析,熟练运用高通qpst,qrct,qcat,qxdm进行5g协议和射频问题定位分析。熟悉多天线情况下。熟悉高通平台2345G语音通话问题,弱信号问题,volte,CA/mimo/endc等问题定位和分析。紧跟新的通信技术发展趋势,研究5G通信架构,除了熟悉高通SDM8150、SDM8250 等最新

平台的产品通信和rf模块,通晓高通各终端平台的modem,RF,Bsp。

深圳

modem协议,modem射频相关专题分析

NX551 射频驱动(ASDIV , CA ),uim卡驱动,协议 (通话,volte ,data)问题分析。crash问题分析。modem相关的功耗问题分析,该项目从RF bring up,到 射频天线调试,协议问题定位,CTA认证问题分析,均为主要负责人和问题解决责任人。

FSG/mbn 自动化编译和签名--高通平台FSG制作编译环境在linux环境下,自动化编译,不依赖于pc和手机的连接,直接快速生成技术第一次商用实现,采用Python实现自动化编译脚本。

NX549 CA开关省电功能设计与实现。

1) 功耗问题: 1+2 modem功耗定位,解决了GSM900通话功耗偏高,WCDMA 灭屏通话功耗偏高,待机频繁唤醒等疑难问题。 解决了预研产品1+3 ldo18导致AP无法休眠问题。通过对1+X 产品 4G下载业务功耗的分析,搭建了CMW500模拟4G 吞吐率环境来定位4G下载功耗偏大问题,建立了4G throughput的测试功耗的一整套方法和调试手段,分析出4G下载情况下,功耗偏大的多种因素。

2) 弱信号问题,定位分析了各种弱信号问题,解决了1+2 3/ 2G弱信号下频繁切换问题。

3)对VOLTE的调试,由于前期没有现在网环境,用安利8475A 和CMW500建立环境,在仪器环境下调通了volte. 跟着在CMCC现网验证并调通了Volte.

4)输出SAR调试方案,进行1+3的AsDiv智能天线驱动的预研,1+3 的RF bring,CA 调试 ,以及调试好支持CA的可变电容方案,第一家调试好安深美可变电容方案再CA模式下可变电电容驱动。积极探索 产品金属后壳情况下软件优化性能的可行性。

5)快速调试好msm8976平台的rf bring up,CA, QFE2550 可变电容方案和智能天线ASDIV方案。

6) 解决msm8996平台 待机功耗问题,搭建环境进行4G下载功耗测量与评估,从而优化4G下载电流,仪器环境下volte通话电流测试与评估。支持仪器环境下volte 音频调试。

学习和跟踪5G通信技术。

深圳

• 在长期的对嵌入式底层BSP底层开发过程中，积累了大量的实战经验，攻克了无数的难题，并且重视 底层软件的设计，坚信产品的质量是设计出来的，比如09年主导的高通6085平台的归一化开发，实现 了公司在该平台的十多款数据卡和模块产品软件到二进制归一，（编译发布一个bin文件，可升级该 平台所有产品，方便了生产管理和一线维护）。在射频性能调试，生产装备归一，维护升级，外设驱 动等都有突出的贡献。在E5 Wi-Fi Router方面，EC315系列，成为了公司的经典案例，Rex OS上面移 植Wi-Fi Router的架构设计，移植20多万行代码demo搭建，到产品交付，无任何遗留问题,后续的EC5 321系列和DA6800车载WIFIBOX系列都是基于EC315的基线代码继续开发。在Android智能机器系统 方面，从Marvell平台的智能机预研，到iMX53再到高通MSM系列多核平台，对Linux/Android整体架 构熟悉，Boot，启动流程，升级加载，BSP driver，Wi-Fi，BT，传感器，震动器， USB，SD卡，LC D/TP, MCP, 射频调试，装备调试，等等。其间也做过SE ， 软件项目经理等。在华为终端多年来主导 或参与开发并发布的十多款产品，均获得巨大成功，发货多到如数据卡/E5类产品，每年发货数百万 甚至是上千万pcs，并且发布后保持零质量事故。
• 在modem软件方面：熟悉高通各平台的modem 软件架构rex系统，包括MSM6800，QSC6085,MDM 6085，MDM6600，MDM9X10，MDM9x15，MSM8x26，MSM8X26，MSM8X74，MSM8X10 等。尤 其熟悉各高通平台的BSP bring up，RF bring up到智能机识卡，搜网注册的实际调试。目前正专注射 频CSFB的代码porting和调试中。对CDMA/EVDO，WCDMA，TDSCAMA, LTE FDD等各种模式下的 RF bring up都熟悉，熟悉高通各种RF card的代码架构和QCT NV均有深入理解和掌握。熟悉高通各种 调试工具QXDM，QPST，QDART的使用。
• 在嵌入式操作系统到理解方面： 对Rex/L4 , Linux/Android ，Nucleus，等系统架构有深入的理 解。熟悉Linux的boot，根文件系统，内核裁剪，设备驱动，Android的kernel，HAL，JNI，Framwork s，这些有理解和掌握。
• 当前高通的MSM系列平台，modem_proc,boot_image,rpm,，LK，Kernel， 在通信基础知识方面：对Wi-fi，BT，无线链接，Ril，3G（1X/CDMA/EVDO，WCDMA，LTE等3 G）无线编程，TCP/TP，HTTP, 嵌入式Webui/WebSDK编程（包括华为E5系列产品为代表的自有wifi r outer的嵌入式web severs架构）等有深刻到理解和独到到贡献；
• 在编程语言方面：牢固掌握C语言