职责业绩:

• 从事传统行业数字化转型规划与落地工作,帮助贝肯能源、亚美能源、包钢等多家企业制定数字化建设方案,规划五年数字化建设内容。主导、参与设备数据采集的物联网架构和数据中台架构规划,并规划数据资产化建设。实现了降本增效、业务创新的既定目标。
• 主导贝肯能源物联网系统落地,包括设备通讯、网关平台和IoT平台系统以及基于IoT的业务系统开发,包括工程管理平台和安全管理平台,实现了贝肯能源各业务线在线化、协同化的目标。
• 主导、参与贝肯能源数据中台的建设,包括大数据平台、数据治理与资产化。主导划分数据域,规划元数据、主数据、数据质量核查、数据标准和数据资产化目录。设计主数据实施方案,并主导主数据应用系统的开发与落地,对接多个第三方系统。
• 规划和制定亚美能源油藏数据中心建设方案,包括基础平台建设、数据资产、数据服务、数据应用。并以此实施数字化建设。
• 在各企业数字化建设过程中,主导AI应用的实施与落地,着手构建AI平台,对数据集和数据模型进行管理,服务贝肯能源、宝钢等多家企业,取得良好的应用效果。

职责业绩:

1.构建AI智能服务的工程化支撑平台,通过微服务+devops/mlops架构实现边缘计算+云计算

-项目1:星云平台

• 搭建devops平台,实现代码版本管理、自动实现AI服务的持续发布/持续部署、docker打包并通过K8S编排。
• 构建微服务,调用AI智能服务实现人脸识别、6S事件识别等,在各个园区部署边缘服务,将计算结果通过kafka汇总到中心云端

-项目2:钢印号识别项目

• 构建工程化支撑平台并集成钢印号识别模型,并承接IT客户端高并发访问。
• 通过docker打包和K8S编排,实现高并发、高吞吐服务。

2.构建大数据平台,实现高效的存储和计算,支撑智能服务相关业务的大数据应用项目研发

-项目1:构建高并发、高效的大数据处理平台,并赋能其他团队

• 实现高效的存储和查询技术方案,满足多种数据应用的需求,输出存储和计算两种能力。
• 集成多种大数据计算任务的提交、部署、调度、管理方案,支持MR、HBASE、Spark和Flink等。
• 构建数据治理体系,构建元数据管理系统、数据治理系统同、计算任务开发系统等。
• 提供在线SQL查询功能,包括hive 、mysql、 hbase(Phoenix)、prestodb等4+数据库类型
• 提供一套数据存储、计算服务接口API,实现hdfs、hbase数据存储服务和基于spark、flink的各种数据计算服务,通过API,从代码层全方位开放了大数据处理平台的计算能力,更全面的推动大数据处理平台的使用
• 支持桩机&挖机&ERP数据挖掘项目,通过spark、delta等框架提供海量数据计算支持,并通过ACID和数据更新、删除操作支持数据特征处理、ML建模和应用。

-项目2:智能相机日志处理系统

• 基于filebeat采集100+台工业智能相机的日志,对智能相机的智能服务能力、支撑性能进行分析。
• 基于flink计算包括利用flink-sql实现异构数据源的关联、kafka存储构建实时数仓,并sink到clickhous
• e支持实时BI展现和分析。

项目3:6S事件统计

• datax收集设备数据、业务数据,基于spark-sql进行数据源整合、数据仓库模型建设,实现restful接口构建数据服务
• 基于dolphinscheduer实现数仓计算调度,保障计算任务准时、正确调度执行并有效管理
• 利用CBoard构建透视表数据分析展示平台,对数据多维度查询、统计和分析

项目4:摄像头数据挖掘系统

• 实时收集摄像头生成的日志数据到kafka,由flink解析到HBase构建数据服务,同时利用flink将数据写入ES实现实时检索和全数据追踪。
• 基于dolphinscheduer实现数仓计算调度,保障计算任务准时、正确调度执行并有效管理
• 利用敏捷BI平台superset,快速构建业务需要的仪表板。

3.构建智能运维平台,实现AI服务器、AI智能服务的实时可视化监控

从系统性能和业务数据指标实现全方位监控,形成AI智能服务全流程的闭环,实现服务器高效稳定、智能服务持续更新。

ansible部署服务器性能(包括GPU)收集agent,将数据写入kafka,实现agent和服务端分离通过flink实时计算框架,将kafka数据解析到HBase,实现数据结构化,基于Phoenix构建准实时数据仓库,实现数据中台服务的基础。

将数据计算结果实时同步至MySQL,实现高并发、高吞吐的支撑业务系统,利用flask框架构建100+服务接口,部署redis作为接口缓存,实现高并发、高效的支撑

利用docker+nginx实现负载均衡,提升并发和吞吐

4.提升AI智能服务的工具系统

-项目1:人脸标注系统,改进、提升人脸识别效率和精度

• 为了提升人脸识别精准度开发本系统。通过提取人脸特征向量,利用向量、矩阵计算实现人脸图像比对算法、获取相似性top-N等功能,并由此更新人脸底库。
• 基于flask快速构建后端服务restful接口,实现前后端分析,多进程调度服务提高并发度和响应效率,并实现日志功能,对操作进行监控。

-项目2:6S图像核查系统

• 为了改进、更正AI智能服务6S事件识别的准确性,并结合业务背景对识别结果进行管理。利用轻量型python开发框架flask实现,通过图片、动画以及业务数据的综合展示,提供核查、下线、过滤等功能。
• 基于人工核查,形成错误事例集,改进AI模型的训练。

-项目3:埋点系统构建

• 基于开源技术和框架,构建适于自己的网站访问分析平台
• 遵循前端埋点的技术架构和路线,仅需前端加入埋点代码即可收集访问信息。

职责业绩:

1、从0到1构建大数据服务平台,为全公司各部门提供数据服务,大大优化了公司的运营水平,改进了产品投放效果。

-项目1:BI平台

• 利用hadoop/hbase/spark等技术栈实现数据仓库的构建,构建企业级数据仓库。
• 利用superset和presto构建敏捷BI平台,通过数据展示和OLAP分析,发现数据趋势、用户行为模式和及时掌握商业情态。

-项目2:精准推送CMS系统

• 通过Python构建精准推送系统,基于用户画像数据、通过定制业务规则筛选特定用户,并基于kafka消息队列实现内容推送。

2、 实现机器学习智能服务若干项目,推动用户引流和转化

-项目1:用户流失预警

• 根据用户画像数据进行特征选择、抽样、转化,利用决策树实现用户流失预警,辅助运营人员通过精准推送来挽回老用户。

-项目2:新车线索掘

• 根据用户访问行为、添加车辆信息进行特征梳理并生成目标label,利用随机森林实现潜在新车线索的挖掘,提高新车线索量。

-项目3:车型推荐

• 通过车主添加车辆行为、用户访问行为等来定位用户的车型偏好,通过批处理和实时计算的结合来实现车型推荐。

3、 利用管理经验,有效提升团队的产出能力和交付效率,有效提升团队的技术水平。

职责业绩:

1、主导利用大数据技术构建数据仓库,并基于数据仓库构建推荐、搜索和数据挖掘分析平台。

-项目1:创投大脑

• 独立完成基础设施构建,承担数据收集、数据存储、数据计算、数据应用和数据展示各个阶段的概念设计和模型设计,把控项目高质量顺利开展。推动智能化功能落地。
• 基于Hbase收集爬虫数据、sqoop同步DB数据、PyHadoop获取第三方接口数据。设计数据仓库模型,基于hive构建数据仓库,实现项目、事件、投资机构的画像。
• 构建elasticsearch集群,实现搜索功能,并实现新闻搜索推荐功能。
• 利用Spark mllib的LDA、 朴素贝叶斯等算法实现推荐功能。
• 利用NLP、neo4j和数据分析技术实现企业图谱。
• 实现将实时日志收集至Kafka并由Spark Streaming完成实时计算功能。

-项目2:星河智能SaaS平台

• 独立完成星河智能SaaS平台的构建,python全栈开发。
• 利用spark2.0 ml实现机器学习各种场景算法的在线模型构建和模型应用;
• 利用tensorflow1.0实现NLP若干功能,主要包括语义分类、文本语义相似性、内容摘要,并提供在线模型构建和应用。

2、 主导团队建设和技术培训。负责与业务方、产品、运营的沟通工作。

职责业绩:

1、主导大数据研发和数据仓库的构建

负责数据仓库整体的数据架构、数据建模构建,并制定完善终端流量数据分析的策略。主导tableau报表、仪表盘设计和开发,并提供业务和技术指导 。

-项目1:用户画像

• 实现用户标签,并利用数据挖掘算法实现用户画像,利用聚类实现用户分群、利用决策树实现用户的类别标签。

-项目2:实时推荐

• 基于Storm主导完成关于直播场次的实时统计,并且基于Storm流式计算实现视频推荐。

-项目3:移动逆袭

• 作为移动逆袭项目的技术负责人,主导项目研发与落地。出色的完成了本项目预定的目标。
• 负责需求梳理、数据仓库建模、项目开发排期、对组员的技术指导并参与项目开发和验数、解决客户对数据的各种质疑。
• 调整、优化数据仓库任务调度平台,确保计算任务及时顺畅运行。引入集群监控系统,确保集群运行的稳定性。保障移动逆袭数据项目顺利上线并稳定运行,为其他部门提供了有力的决策支持,确保实现了本项目的战略目标。

2、 参与制定部门发展规划, 团队招聘、建设、考核、部门文化建设、研发流程建设、技术交流。

职责业绩:

1、全面负责数据仓库、BI的技术研发工作。

-项目1:数据大都会Metropolis

• 制定数据分析组的发展规划,构建数据仓库模型,实施数据项目开发平台化。
• 负责MySQL的优化,处理大数据量处理时遇到的问题。
• 制定和编写ETL调度机制和ETL数据安全机制并实施。研究、设计和指定数据分析方案和数据展示策略,制定、实施Hadoop海量数据处理平台。
• 利用JasperReport开发OLAP和仪表盘

-项目2:产品360系统,即P360

• 设计并实现业务处理的ETL工作流,处理来自teiid、OpenOffice和XML的数据源并核对、矫正数据抽取、处理的规则。
• 制定出P360数据分析项目的各种分析策略。
• 数据仓库项目P360顺利上线并数据质量达到公司管理层满意的效果。

2、主导机器学习的应用

• 利用Weka实现若干业务数据挖掘功能。
• 通过线性回归LR实现Bug数量预测,为各个产品线的规划提供决策支持。
• 通过聚类算法Kmeans实现相似Bug查找,匹配Bug修复的解决方案。

职责业绩:

参与中供数据的ETL、数据仓库建设和数据智能服务。

-项目1:数据管家

• 作为PM负责数据管家项目的技术研发和项目管理工作,成功实现项目落地,为中供提供及时、准确的数据服务,提高了中供的订单量和销售额。
• 梳理需求、参与数据分析制定策略,进行项目规划、资源调配。主导数据仓库系统建模,制定数据清洗、转换规范。
• 实现中国供应商业务线主数据开发,并完善元数据的共享、协同系统。为中供提供及时、准确的数据分析服务、标杆产品/企业推荐、热词推荐等。
• 负责核心功能模块的研发落地,主导Hadoop、hive研发技术的问题解决方案。

-项目2:SPS系统

• 构建SPS系统,提供推荐功能。
• 构建相似产品集SPS,为中国供应商提供价格指导。
• 基于SPS,利用关联规则算法实现商品推荐。
• 基于SPS,利用关联规则算法挖掘热词并向中国供应商推荐。

职责业绩:

1、数据库日常运维

• Mysql数据库日常运维、调优、处理出现的故障。
• 利用nagios和cacti实现数据库的监控和报警,开发若干自动化处理脚本。
• Mysql高性能架构的完善,replication、amoeba、drbd等。

2、 数据仓库与BI开发

• 编写SQL、存储过程和开发JasperServer报表满足公司各部门的查询需求、并提供数据库技术支持。
• 利用kettle实现大数据量的数据同步、ETL,实现若干OLAP的需求分析、数据建模和开发。

3、 海量数据处理架构的部署实施与应用

• 主持mongodb的实施、开发和维护,并对开发部门进行技术支持。
• 实现mysql到hadoop的迁移并在JasperServer中实现hive查询的报表展示。
• 搭建hadoop/hive/hbase集群并进行一些优化,实现mysql与hadoop数据同步。