内容:
1、 负责易车网大数据平台技术选型和架构
2 、负责并主导易车网大数据平台整体迁移工作,输出整体迁移方案,保障大数据平台整体无缝迁移
3、 负责易车网埋点数据采集入湖,数据清洗,广告投放数据分析等工作
4、 负责整个大数据平台集群运维工作,包括计算和存储优化、计算资源优化、任务调度优化
5、 优化和修改 hadoop yarn 底层源代码,解决大数据集群实际问题,并维护公司 hadoop 源码分支
6、 负责易车网大数据开发与治理平台开发工作,功能包括数据接入、数据开发 IDE 、任务提交、元数据管理、数据血缘管理、数
仓表管理,任务调度、数据权限、数据资产
业绩:
1、 完成易车大数据平台整体重构,并基于新架构完成跨数据中心的整体迁移工作,迁移包括数据、元数据、实时和离线数据应用
等
2、 完成异构集群整体优化,通过不断优化大数据平台资源使用,降低整体成本
3、 修改 hadoop 底层代码解决集群解决实际问题,
4、 完成广告投放数据分析,并完成对接广点通进行定向广告投放业务
5、 完成大数据开发与治理平台开发工作,对接底层大数据平台,保障平台安全与数据安全,并通过该平台推进数据治理工作