太屋大数据平台实时和离线数据仓库的建设: ◆ 整体实时及离线数仓架构的设计确立，包括组件技术的调研和业务场景的梳理以确定整体的技术架构、实施方案和数仓分层设计。 ◆ Flink 开发实时接埋点数据的程序，实时营销程序，实时读取业务库的程序。 ◆ Hadoop、Doris、DolphinScheduler 集群的搭建、运维及升级，处理线上组件及批量问题。 ◆ 数仓工具脚本的编写及优化，实现一键建表，DolphinScheduler 工作流同步及失败告警企微通知，ODS 层配置化加载业务数据，定时调起 StreamPark 上失败 Flink 作业等功能。 ◆ 根据业务需求编写 Hive 自定义函数，实现 JSON 数组的展平等功能。编写 Flink 自定义函数，实现 Row 类型 JSON 字符串的聚合等功能。 ◆ 打通 Hive 表到 MySQL、Elasticsearch、Doris 的数据链路，实现全流程 SQL 开发，降低开发门槛，缩短开发周期，规范化 Hive 数据导出流程，实现 MySQL和 Doris 的原子性数据更新、ES 的过期数据清理等。 ◆ 集群及作业的调优，优化 YARN、Spark及 Doris 性能。 ◆ 数仓 SQL 脚本的开发及作业调度上线，部分应用层作业的开发及报表制作等。

上海银行大数据平台离线数据仓库项目 ◆ 参与离线数据仓库的建设，Python 开发批量调度、数据加载、应用重调及 SQL 内存监控，Shell 开发 HBase 跨集群 BulkLoad 加载数据等数仓工具脚本。 ◆ 参与数仓集市层建设，模型及表设计，Impala SQL 作业脚本开发。 ◆ XML及 JSON 报文解析程序的开发。 ◆ 行内各种数据分析应用需求及项目的开发上线。 ◆ 应用组4人团队的管理，项目需求的对接与分配，任务排期，重难点任务梳理，进度把控。

◆ 依据报表规则建模，制作报表，进行指标映射，按照数据质量要求编写审核及运算公式。 ◆ 与外部系统进行数据对接，编写与外部系统数据交互的接口文档，用公司ETL工具进行数据的抽取。 ◆ 按照业务方要求使用DNA-SQL对报表数据从不同角度进行汇总、统计，制成分析表与可视化视图。 ◆ 使用公司BI产品进行数据建模，抽取加载数据，做交通动态监测的可视化展示。 ◆ 与客户沟通，指导统计人员进行报表的填报，解决填报过程中出现的问题。

采集记录钻井参数，检测钻井过程