职责业绩:
· 为客户提供 TDH 大数据平台快速部署、日常使用、版本升级的技术支持;
· 负责Hadoop大数据集群性能调优、扩容、组件升级等操作;
· 负责大数据相关组件的基本运维工作,新增节点,数据统计,告警,参数配置等
· 熟悉Hdfs、Spark、Hive、Hbase大数据技术框架,能够独立搭建、部署、维护和优化大数据平台
· 负责TDH大数据集群高可用,包括数据备份、监控、告警等;
· 承担大数据层面的性能分析及优化,承担大数据层面故障的处理、分析与总结
· 熟练使用Spark、 MapReduce等编程框架进行大数据处理。
· 精通使用Hive、Spark SQL等大数据SQL语言
· 精通大数据平台紧急故障定位分析及快速恢复;
· 熟悉ETL配置与优化;
· 大数据平台运维文档的建立、维护、更新;
· 深入研究大数据相关运维技术,持续优化集群服务架构
· 熟悉各类Linux系统运维,包括CentOS、Redhat等
· 精通Linux下的Shell编程,能够编写各类运维脚本用以监控、运维大数据系统及依赖服务
· 熟悉python、shell脚本,熟悉SQL化开发
· 熟悉各类监控系统,如prometheus、Ganglia
· 具有丰富的使用各类监控工具、日志分析和故障诊断、系统调优和高可用机制的经验
看机会原因:
· 目前比较稳定,期望更好的平台;
· 目前有朋友在日本,想去日本发展

职责业绩:
星环科技推出的 Hadoop 发行版、即TranswarpDataHub(TDH)企业级一站式大数据综合平台,主要工作内容包括:
· 参与设计实现大规模分布式集群的运维、监控和管理平台
· 负责 TDH 大数据平台运维工具的设计、开发和落地工作;包括部署升级、变更管理、性能调优、系统监控、故障处理等
· 参与了多个大数据平台项目的 POC、落地部署、技术支持等工作
· 参与新产品线的出场测试与绿灯测试;
· 精通hive SQL编写与优化
· 分析 TDH 大数据平台组织架构,排查其中的漏洞并进行改进;
· 负责 TDH 大数据平台运维工具的设计、开发和落地工作;
· 分析 TDH 大数据平台组织架构,排查其中的漏洞并进行改进;
· 负责hadoop升级,优化整体hadoop集群拓扑,调优等工作
· 承担大数据层面的性能分析及优化,承担大数据层面故障的处理、分析与总结
· 熟悉 Kubernetes、Docker 技术,有生产级容器系统管理经验;
· 熟练使用各种调优手段,能针对系统运行状况与业务需求,进行合理的参数配置优化。如YARN资源调度、MapReduce参数调优、Hive SQL优化等
· 参与数据仓库建设及解决ETL相关技术问题
· 设计实时及离线计算、数据仓库方案
· 具有丰富的数据分析与应用开发经验,能够采集海量数据,利用Spark等技术进行ETL、交叉分析、数据建模等,提供数据产品与解决方案

职责业绩:
· 中国工商银行软件开发中心、信贷运营系统开发小组。主要负责大数据处理、数据仓库 ETL 系统;Oracle数据库、存储过程管理;批量文件自动化调度等。