内容 :
⚫ 调研需求:调研用户需求,对接不同的算法任务,并根据用户需求设计搭建不同的算法模型,来制定
实施方案
⚫ 搜集数据:通过公开开源数据集、采购数据、已有业务的埋点日志、或是借助Scrapy爬虫,来搜集
原始数据
⚫ 数据处理:使用Pandas、Opencv、Hanlp等多种python模块库工具来清洗处理数据,使用
brat、labelme等工具进行数据标注
⚫ 模型构建:使用pytorch/tensorflow深度学习框架开发构建算法模型,利用预训练网络模型参数、
网络冻结等方法来加快训练过程
⚫ 模型调优:利用学习率衰减、dropout、L1正则,L2正则、激活函数、网络层数、损失函数、先验
参数以及超参数的调整来实验调优模型效果
⚫ 模型压缩:根据服务器性能,通过模型蒸馏、参数降维、参数共享等方法来压缩网络模型参数
⚫ 接口部署:采用Flask/Django后端开发框架,搭建部署网络服务接口、功能测试
⚫ 模型优化:持续跟踪用户反馈,扩充数据集,采用新的算法模型,不断优化和更新模型