负责大数据处理平台研发和技术管理。团队规模:15 人。
大数据处理平台简介:
包括数据采集和存储,数据ETL处理,元数据管理,数据特征计算,BI报表计算和展示。
Hadoop、Spark、Flink,Kafka,Nifi,Flume,Atlas,hive,Hue、Azkaban,MongoDB等
个人职责: 架构师,技术负责人。
• 组建公司大数据处理和开发团队,协调与其他部门的合作。
• 设计实现大数据处理平台的架构设计和落地搭建及维护使用
• 设计实现数据实时和离线处理框架,打通各数据处理通道,结合推进业务侧数据改进,
实现 70亿/天数据处理和存储,用户量达7亿/天
• 迭代架构设计和数据处理流程,推进新技术的验证使用
• 推进任务流处理监控报警及关键任务保障体系建设
主要业绩:
• 创建公司大数据部门,组建大数据处理团队,完成公司数据处理需求,并加深团队数据
处理技术储备,引领公司各业务更好发展
• 优化不同业务和区域数据处理流程,并合理使用实时处理和离线处理方式,优化提升数
据报表延时从1天提高到1-8小时。
• 根据报表使用情况统计和使用周期计算,结合业务部门反馈,倒推业务数据存储时长,
减少50%存储量
• 引入hue处理和查询平台,指导和培训业务人员查询数据使用,提升整体人效40%
• 平台数据量增长20 倍,平台用户量翻 10 倍,团队人效提高30%