工作职责:
1. 负责团队组建,研发流程、规范体系搭建。
2. 全面负责技术体系,大数据体系,云计算体系,人工智能体系研发和产品的
落地。
3. 数据方面:数据标准、元数据、数据模型、数据分布、数据存储、数据交换、
数据生命周期管理、数据质量、数据安全,数据共享服务,治理,数据建
模,数据中台,数仓等有实际的工作和产品经验。
4. 数据中台:数据的预处理,数据的标准化,数据的完整性,数据的模式串,
元数据的管理,引擎中台,算法中台,交易中台,用户中台,商品中台,存
储中台,框架中台,隔离中台,缓存中台等。
5. 人工智能产品:工作台,任务管理中心,开发库,ai 知识图谱,图数据库,
知识推理和机器学习,自动化模型开发等套件,场景的服务化,模块化,组
配化等。
6. 云产品:动态扩展架构,云阈值调节,沉余存储扩展,多租户管理,基础设
施 opencloud,容器调度,容器存储,镜像仓库,容灾恢复,应用编排,灰
度发布和微服务,应用管理和中间件组件和各种应用类型的支撑和服务等。
7. 架构方面:电商业务架构,数据架构,应用架构,集成架构,云计算架构,
核心编码,源码封装,code重构,架构深化改造和梳理模型搭建,数据分析,
难点攻克解决,需求把控成本核算。
8. 算法方面:SparkMLib分类、聚类、推荐等,最近邻KNN预测分析的算法、
协同过滤算法的实 现、逻辑回归分类分析挖掘算法、贝叶斯分类分析挖掘
算法,模型的评估方法,偏差方差,回归分析,一元线性回归,回归模型参
数和应用,多元线性回归,贝叶斯算法等。
9. 云端服务:熟悉阿里云,弹性计算,批量计算,函数计算,对象存储oss、
文件存储、hdfs、混合云服务、微消息队列、消息队列kafka、rocketmq、
分布调度任务、数据湖分析、关系网络分析、画像分析、实时计算、智能推
荐,设备接入IOT设备认证,消息通信,监控运维,权限管理,云端开发等。
10.熟悉java开发,熟悉设计模式,spring,mybatis,sql和nosql,rpc,
mq等中间件,对于开源的源码都有过深入的封装code 。线程的同步,线
程的死锁,线程池的管理,内存流,线程的状态,线程间的通信,高并发,
高可用等。投标的立项,可行性方案和解决方案,技术选型,架构模型和
项目落地,数据处理和模型分析,服务器搭建和版本迭代。使得平台支撑万
亿数据流和千p级别的数据量。
11.绩效:智能数据产品,信息化产品,互联网电商产品,特征平台产品,这几
个产品都经历了由0-1的过程,从项目讨论启动计划监控和需求架构逻辑,
封装代码到难点攻克等。
主要项目:
湖仓一体的智能服务处理产品 首席架构师
项目描述:
智能数据中台产品搭建在openstack的云上面,依赖hadoop生态圈和微服务技
术实现了运维,业务,功能,数据的高可用,高并发和高性能的自动化平台,依
托智能的模型算法实现了场景业务的迭代升级,智能数据中台通过容器paas、
微服务,大数据产品和算法等为用户提供行业云产品和智能数据为基础的中台产
品。
功能分云计算产品,大数据产品,人工智能产品三个方面:
云中台功能有微服务(服务发现,熔断降级,应用网关,负载均衡,服务监控和配置管理),应用管理(容器管理,配置管理,服务管理,网络隔离)中间件组
件(分布式存储,实时计算,数据缓存,云服务总线,业务流程,规则引擎,路由转向)管理运维(资源管理,多租户,日志管理,监控警告)。
数据中台功能有数据治理,运维监控,认证中心,作业调度和数据的链路处理等。
数据治理有标签管理,标准管理,数据质量,元数据管理,数据安全,主数据管
理,数据生命周期,数据任务和数据一致性等。
数据中台功能有数据采集,数据集成,数据清洗,数据存储,数据处理,数据计
算和分析,数据建模,数据效验,数据质量数据完整性,数据可视化。
数据处理功能有业务模型库(服务管理,数据链路,工作流程,任务协调),ai
模型库(回归,聚类,分类),开发组件库(模型管理,实时计算,规则引擎,多维引擎,框架封装),智能组件库(rfm组件,数据图谱组件,路由组件)人
工智能产品功能有算子管理(算子池管理,算子调度),数据处理(数据接入,数据预处理,特征工程,图形数据处理),ai处理(分类,聚合,回归,决策树,
深度学习,图形数据处理),平台管理,任务管理等。
项目职责:
1、此产品处理总的数据量为8000亿,其中离线数据是4000亿,实时数据是4000
亿。
2、原始数据平均每小时200G,峰值达到350G/小时。其中用户数据占53%,LTE
占47%离线数据通过web查询,1秒到5秒数据量可以达到100万到350万条。
3、实时数据处理的数据量在1秒到5秒之间可以达到100万到350万条记录;
4、数据逻辑顺序为cache到ods到dm这三层来处理;cache层到ods数据比
重3:1、ods到dw为5:3;
5实时统计部分平均在1秒内可以达到150万条;
6、实时数据每一秒接受一次,sparkflink 处理每1秒处理一次。
互联网电商产品 首席架构师
项目描述:
互联网电商业务中台是智能数据中台和电商业务场景和数仓和电商行业相结的
互联网电商业务中台。有商品系统,订单系统,库存系统,交易系统,物流系统,
智能销售,电商管理,用户画像功能,详细页设计和服务闭环,检索系统,数据
过滤系统,日志平台,数仓系统,数据治理等。
本业务中台是集云计算做业务能力的中间件,大数据做数据中台的解决方案,人
工智能是业务模型的算法轨迹实现。
电商业务中间件有:会员中台,商品中台,交易中台,店铺中台,库存中台,类
型中台,发货中台,物流中台,搜索中台,订单中台,结算中台。