工作描述:
1. 负责Hadoop大数据生态和其他数据产品(MPP)总体方案规划设计和框架设计,沟通、协调、对接业务,解决业务痛点难点问题,制定数据库开发和维护使用标准;
2. Hadoop大数据生态和其他数据产品实施过程中引导业务需求方案落地,对需求进行整理和分析,保证服务质量;
3. 负责数仓领域专业知识和技术的前瞻性储备,数据治理及先进技术预研和引进;
4. 完成数据策略和数据标准对接,对数据生命周期和数据完整性进行跟踪和监视。
5. Postgres,oracle,Hive,Hbase,Greenplum,Mysql等类型数据库集群架构与数据迁移;
6. Kettle数据抽取,清洗,加载,元数据管理,任务调度,数据加载,数据监控;
7. 数据灾备集群建设,灾备案编写实施;
8. 根据业务场景选择合适的数据模型,指导完成建模工作;
9. 集群在线扩容,在线升级,补丁,完成集群和业务持续性优化;
10. 故障恢复,线上问题实时处理,问题规避。