在九次方大数据,主要担任研发总监的职位,开发九连环大数据平台,功能与阿里云数
加类似。带领团队 50 余人,完成了整个平台搭建,功能包括:数据接入,数据清洗,数据
加工,数据处理,模型算法及可视化分析等。进入公司后,从 0 开始组建团队,搭建平
台。同时支撑、企业相关项目的大数据平台落地不,包括济宁征信、吴中项目、甘
肃工商等等,配合 javaweb 团队完成业务数据的接入和处理,并将数据提取至 mpp ,再
抽取至数据集市,最重由业务层展现。 配合模型团队完成 sparkR 的分布式数据处理,
完成整个算法的可视化操作,降低用户门槛;与可视化团队进行定义可视化接口,完成
大数据可视化功能。负责整个Hadoop生态圈技术的架构设计开发工作,包括但不
限定于Spark、Flink、Storm、Range、Hive、MR、OOzie等。在公司同时负责相关
培训的工作,每周 1-2 次,主要是 hadoop 生态圈相关技术栈。 同时负责项目的讲标工
作,与 bdos 等竞争对手 PK ,完成项目的技术售前、讲标和 POC 工作。同时制定平台
研发版本更新,包括大数据平台自身的功能点制定,开放平台、 PASS 平台、运营平
台、商城系统等等的功能规划和总体架构。
采用Hadoop生态圈,包括采用storm解决消息流事件机制,采用Spark、hive解决离
线统计计算、采用kylin解决多维度交叉分析查询。前端web技术采用
vue+socketio+node等主流前端技术解决web前端的用户交互显示,移动端采用react
native适配所有移动端产品。在机器学习和深度学习方面,采用sklearn的算法包解
决复杂的机器学习算法功能,引入tensorflow解决图形、视频等深度学习的需求。
目标是通过技术驱动,解决云端B2B的企业间管理需求,解决传统ERP系统的定制
化局限,使得用户通过可配置的方式来操作企业间的具体业务流转。