主要职责:

1、交付客户数据平台CDP产品,定制开发证券的全渠道数据整合系统,汇聚同花顺、蚂蚁mpass、神策各种不同埋点数据和业务数据,整体达到千亿级别的数据规模。采用Flink作为底层组件做到端到端分钟内的准实时数据处理,0-1搭建实时数据仓库。完成数据处理和用户关联,最终和客户的营销系统进行整合,实现数据闭环。

2、在神策SA标品的基础上,拓展数据接入模块,在公司范围内第一次使用Seatunnel和自研调度工具,应用于交付项目,相比较过去的定制方法提升交付效率。

3、积极沉淀项目实践经验,整理营销中台相关技术文档,包含标准产品、插件能力和定制化能力汇总。对技术售前进行赋能输出,统一定制化能力的内部认知。

4、建设数据质量检查工具,覆盖交付前数据质量指标检查、交付中比对源数据和最终数据、交付后的日常数据质量校验的整个流程。

5、mini混部小集群原地平滑扩容升级到标准3+N集群。采用扩容平滑迁移角色并使用数据均衡的方式,扩展了原先沿用很久的切集群的方式。满足操作对服务下线时间的严格要求,避免对生产造成影响。

主要职责:

规划数据中台产品和系统设计工作,数据中台包含调度系统、数据集成平台、BI平台、数据服务平台、数据质量。

离职原因：公司融资出现问题，资金链断裂，后被奇点云收购。

主要职责:

1、大数据平台负责人,主要负责离线数据平台工作,负责Hadoop、spark、Hive等主流大数据组件和调度系统平台开发,并重度参与元数据系统、数据质量、指标库、数据服务、公共层数据等数据治理工作。

2、数据基础平台

✓ SparkSQL切换,将SparkSQL来替代HiveSQL作为主流的ETL开发语言,尤其是针对核心SLA作业以及小时、5分钟等对时间完成敏感的作业。

✓ ETL作业调度系统,主要着力于提升用户体验,比如数据开发可以自助式完成端到端的DB自助入仓、Kafka自助入仓、ETL开发、数据报表等。

✓ 自动化运维系统,比如磁盘故障发现告警和自动化送修、机器资产管理、配置和软件推送、服务重启等,整合了几十个ansibleplaybook运维操作流程,通过前端页面进行管理。

✓ 开源节流,合理化资源管控,保障ETL的SLA完成。通过创新的Capping方式来感知系统资源使用繁忙程度,区分关键作业和非关键作业队列的Capping值来确定是否提交还是继续等待。

✓ 现有技术迭代改进,提升系统稳定性和可用性,比如小文件治理、HDFSFederation、CapacityScheduler无缝切换迁移、Yarn资源超配和监控检查、核心集群nodelabel隔离、HDFS锁优化、可配置删除块个数、去Flume和Sqoop化、自动化EC、冷热数据分离等等。

✓ 新技术尝试和落地,提升服务水平,比如数据湖技术Hudi、高性能 OLAP、 Clickhouse、Alluxio、CgrouponYarn、Ozone、数据服务等等。

3、数据治理

✓ 数据委员会核心成员,主导制定数据治理目标策略,包括并不限于生命周期管理、高消耗作业优化、应用瘦身、公共数据层建设、数据质量、元数据管理、指标服务。

通过和几个主要数据产品协同开发,建设数据中台,提供公司范围内统一可调用的的指标服务,统一口径、减少冗余计算和存储,减少重复建设。

4、数据中台

✓ 关键的流量域和交易域的数据开发建设基础公共层数据,指标库建设,个人参与数据架构设计和代码评审。通过重构和下游切换,规范化数据使用。

✓ data governance 工具类开发,包括 metadatacatalog,DQC,datalinage提升工作效率。

2013–2017     数据平台经理

主要职责:

1、Apache Eagle, eBay Hadoop实时监控和报警系统。Eagle是“Hadoop平台监控、预警及自动化”实时分布式框架。应用场景包括监控M/R作业,作业性能的分析,服务器异常检测,管理SLA作业,监控节点审计日志,监控HDFS镜像,监控进程GC日志等。

2、HadoopRobot,Hadoop集群自动化运维系统,它有效地确保廉价的Hadoop集群服务器硬件不会影响集群和应用的性能,并提供了一整套由异常发现,节点下线,节点修复,下点上线的自动化运维解决方案。

2011–2013      MTS2级工程师/架构师

主要职责:

1、Hadoop管理控制台,提供自助式用户管理,资源管理和安全管理。用户能够自主申请资源并自动配置。动态调整资源倾斜,保证SLA服务资源供给。

2、建立TeradataDBAteam从事24*7Oncall运维并开发相关DEVOPS工具,减少人为的错误同时提高运维效率。Teradata容量管理,提供表级别资源消耗,使用热度趋势和血缘分析来进行价值估算和淘汰处理。应用线性回归模型预测半年的容量变化。

2008–2011     MTS1级工程师

主要职责:

1、建立创新实验室,其中2个创意在2011年部门黑客日中荣获“最佳创新和最流行奖”。成功实施Teradata数据仓库冷热数据管理,为数据仓库提供的“瘦身”服务。

2、建立SQL性能监控雷达,一旦用户的查询有性能问题,系统提供报警和优化建议。建立数据质量“防火墙”,一旦数据发生问题,系统立刻报警。匹配预先设计的商业规则,自动化报警。

2006–2008     高级数据开发工程师

主要职责:

1、ETL Batch优化。根据分析依赖作业的依赖关系,讲窜行的作业并行话和提高抓取频率等方法,将SLA时间从平均8点推进到4点左右完成。大大加强了对用户的承诺。

2、TeradataSQL性能优化。根据Teradata优化器特效重写代码,提高整体PE从60%到80%。节约昂贵的计算资源并推广方法技巧。

2004–2006      数据开发工程师

主要职责:

1、作为eBay数据仓库SubjectAreaExpert作为主要开发者对LSTG/CHECKOUT/Accounts/Attribute开发和支持。

2、完成数个ETL项目项目,比如用户删除项目,数字商品项目等,使用inframatica在Teradata上完成。

主要职责:

1、华为BIS数据仓库项目,主要负责制造主题的需求分析/详细设计和 ETL 编程开发。采集异构的源系统数据(Oracle11i,SQLServer,LotusNotes),最终生成KPI、固定报表、OLAP分析。

2、作为TeamLeader实施3个项目,金额达到500k。鞍钢新轧钢二冷轧ERP系统详细设计和开发。承担质量管理和综合统计模块的系统详细设计、编程工作。

3、开发基于J2EE的新轧钢销售部电子商务系统,承担Team Leader角色,控制项目进度和解决技术难题。编写了画面和报表模板,大大提高了开发团队的工作效率

4、使用JSP和JavaBeans开发网站。包括用户注册、信息查询、用户文档管理和资料后台维护等功能;

5、开发JavaMail的邮件系统,扩充JavaMailAPI,编写公用类,建立连接池,引入LDAP作为认证入口。

主要职责:

1、创立“温州二手市场”。并于2001年获得温州市三等奖。

2、改版温州科技信息网,将内在的内容暴露出来易于用户使用。