1、负责 ETL 设计、开发、测试和部署；
2、负责数据准确性的检查和核对；
3、参与数据管控和数据治理
4、负责项目中离线数据处理存储过程编写、维护;
5、负责项目报表的开发。

一、 亦控集团领导驾驶舱建设项目（一期）
ETL工程师 2019.7-至今
使用技术 与工具：HDFS+Sqoop+Hive+Azkaban+Mysql+Kettle+FineReport
项目描述：随着亦控集团的发展，子公司和部门的发展也很快，为了充分发挥数据价值以提
高集团的决策分析，建立一个统一的大数据共享和分析综合服务平台很有必要。将 20 个子
公司和 18 个部门的数据导入到数据资源池进行共享，确保亦控集团各级部门均可在保证数
据隐私和安全的前提下使用数据，充分发挥数据作为企业重要资产的业务价值。最后使用
finereport 进行报表展示。
责任 描述：
1， 使用 sqoop 数据传输，hive+shell 相结合，数据多维分析，离线数据 mysql 存储；
2， 使用 HQL 对采集到的源数据进行预处理，比如清洗，格式整理等，将统一格式后的数
据存回 HDFS；
3， 使用 Kettle 将 mysql 中的数据导入到 Oracle 中；
4， 使用 FineReport 将进行部门报表展示；
5， 使用 Azkaban 调度任务流程。
二、 鹰潭旅游+酒店大数据服务平台
ETL 工程师 2019.6-2019.9
使用技术：Flume+HDFS+Zookeeper+Hive+Sqoop+Shell 脚本
项目描述：鹰潭华侨饭店大数据综合信息服务平台，推动、落实旅游大数据平台的实际应用
为初步目标，以推动鹰潭酒店行业发展，实现资源整合并取得良好的经济效益为总体目标。
鹰潭华侨饭店大数据平台主要是对鹰潭酒店行业的客流量、客流方向、景区情况、舆论、酒
店竞争优势、收入情况等各方面的情况进行整体分析和预览。帮助用户更直观的了解到鹰潭
酒店行业的整体情况，并根据分析结果及时作出合理的决策。
责任描述： ：
1， 参与数据分析处理，技术选型，集群的日常维护，性能优化；
2 ， 数仓建设和模式设计，数据分层；
3 ， 使用 sql 对数据进行计算和清洗；
4 ， 编写脚本及定时任务处理。
三、 国家信息中心公共资源交易大数据分析平台项目
ETL 工程师 2019.5-2019.7
使用 技术： ：HDFS+Hbase+oozie+Hive+Kafka+TongETL+Kingbase
项目描述： ：依托国家电子政务外网和公共数据交换平台，初步建成国家公共资源交易服务平
台，建设“一网、两门户、五库、八系统”以及配套的标准规范和基础设施，实现与 31 个
省（自治区、直辖市）和新疆生产建设兵团公共资源交易服务平台、中国招标投标服务平台、
全国信用信息共享平台、投资项目在线审批监管平台的互联互通和信息共享，为进一步促进
市场主体公平竞争、提高公共资源配置效率效益、提升决策的科学性有效性等提供信息化支
撑。
责任描述： ：
1 ， 使用 TongETL+SQL 脚本对数据进行清洗；
2 ， 数据规范 2.0 表变更修改。

1、进行数据仓库的搭建、数据的 ETL 以及数据处理程序的开发；
2、工作中对项目做了一定优化和解决一些问题；
3、根据业务使用 MapReduce、Hive、Spark 进行数据分析；
4、挖掘分析用户行为数据，完成各种维度统计数据的计算整理。

一、 爱上街用户画像及推荐系统
大数据工程师 2018.06-2018.12
使用技术 ： Spark Core+Kafka +SparkSQL+Graphx+HDFS+Mysql+Hbase+Redis+SparkStreaming
项目描述 ：根据用户的浏览、关注、收藏、加入购物车、购买等情况构建海量用户的画像系
统，基于 Spark 对用户的特征按照地域分布、终端设备、关键字等进行精准分析，并基于用
户的标签为推荐和数据挖掘人员提供支持。
责任描述： ：
1. 参与了技术选型的讨论、项目的优化、以及一些问题的解决；
2. 对用户所访问会话数据按条件进行分析过滤；
3. 参与了一些离线和实时指标的计算；
4. 参与了一部分数据标签化代码的编写和优化；
5. 负责用户统一识别部分和标签的聚合操作；
6. 负责用户标签的衰减和入库操作；
7. 负责和技术人员沟通，及时修改标签中一些不合理频度的设置规则。