职责和工作内容:
1.主持公司Ayena数据中心产品战略规划、技术体系规划。
2.部门日常工作管理:团队目标制定、绩效管理、人员招募、骨干培养、团队建设。
3.作为数据中心研发团队负责人带领技术团队完成大数据中心对象化分析平台的开发,作为架构设计师进行核心业务及系统的方案设计与搭建。
建设产品和项目(因项目涉密):
1.老版本Ayena大数据中心平台的研发和架构改进,实现海量级结构化和非结构化数据的存储,查询,分析,计算。
2.新版本Ayena大数据中心架构设计(togaf),存储结构设计,索引结构设计,计算逻辑设计。使用Hadoop,Hbase,hive,Map/Reduce,flume,spark完成分布式架构设计,代码优化设计工作。
3.支持某地大数据中心研发(PB级),使用Hadoop,Hbase,hive,Map/Reduce,flume,spark实现完成业务功能。流计算使用spark streamging,离线计算使用spark ,并实现相关需求。
4.各种类型map reduce特色模型工具研发
5.带领团队维护平台,新老平台两个版本。
6.某地平安城市数据中心,从方案到整体设计。部分设计牵扯到源代码扩展;模型分析,特征工程,嫌疑人画像,标签设计及实现,下属团队35人。
7.某地数据迁移负责人。
8.某部委大数据中心项目。
9. 根据维护和设计经验规划新版数据中心,基于大数据的saas平台规划。
10.为某部委完成大数据中心设计,独立完成。
11.与腾讯合作为某单位提供基于腾讯云(docker)和腾讯微服务和腾讯mpp数据库支持的解决方案。
12.其他工作,三篇专利。1)基于spark的实时流关联系统分析,2)基于redis多用户订阅发布系统。2)对实时流上的数据处理引擎算法结构设计。
13.某局安全平台分析,完成平台搭建,设计及核心代码编写,数据模型分析,包含特征设计和算法实现,最终实现客户需要的数据围栏。
14.算法平台切换预研究,从Sparkmlib 切换Tensorflow代码。
15.greenplum数据库设计及部署。
16.201919年起担任公司规划部架构师,负责公司相关重点产品规划及产品前瞻性规划、架构设计工作,指导各产品线架构,修改spark算法,核心源代码,架构设计实现需要解决技术难点研发等工作。主要完成基于k8s容器云的微服务架构设计,数据流智能分析引擎,从业务库到知识库,再到规则库智能演进架构设计工作。完成基于索引和数据分离方式的自主的分布式查询系统架构设计工作。
17.公司大数据安全项目主架构师,承担大数据安全的各个产品设计,包括微服务、大数据平台的设计。数据接入、数据处理、数据组织、数据治理、主题库、业务库、数据服务、应用体系、可信安全体系。