NCE(Network Cloud Engine)某分析模块功能的开发;
技术栈: kafka,spark,hadoop,druid
主要采用spark和kafka对数据进行流式计算以及离线计算,构建数据处理pipeline,将计算数据入到druid时序数据库中,最终将数据展示在前端报表界面中,该功能已经在国内某运营商5G实验局上线,已经获得一线客户的认可;
主导开发NCE分析器模块中重要特性—路径还原的开发;
技术栈: spring,kafka,gauss
通过实时消费来自kafka的路径数据,将路径数据进行还原计算,入到gauss数据库,该微服务成为路径拓扑展示功能相关的核心模块,该特性保证了iFit功能特性中很重要的逐跳性能展示模块可以正常工作,该功能已经在一线运用,同时自消化重构该特性微服务,通过仿netty的管道设计模式,将数据处理的流程进行解耦以及环节化,可以通过灵活的动态增加数据处理流程,大大的提高了可扩展性,该模块重构代码入选PDU好代码奖以及数通产品线金码奖百强。
5G重要特性ifit的个障分析数据计算功能模块的开发;
技术栈: kafka,spark,hadoop,druid,yarn
通过开发spark UDF,结合sparksql对来自kafka以及hdfs的存量数据进行数据计算,将计算好的性能指标和质差指标数据入到druid时序数据库,并通过修改spark运行参数,使得计算模块可以长稳运行。
承接微服务kafka兼容问题攻关工作
技术栈: kafka
针对公司内部多套安全加固kafka彼此之间不能共用的问题,通过跟踪调试阅读两个版本的kafka的鉴权流程部分的源码,找出一个能同时兼容不同版本kafka之间的鉴权机制,通过手动配置环境变量,引导kafka读取不同的证书秘钥,有力的保障了实验局的交付。
网络云化引擎NCE智能特性任务调度模块的设计和开发以及告警聚类处理流程设计开发。
技术栈: spring,redis,gauss,quartz
1. 设计并开发了NCE智能特性模块的任务调度管理,整体采用主从架构,集群节点在启动的时候通过抢占式选举master,master节点负责任务切片的计算,将任务下发到worker节点,同时汇总worker节点的任务进度。Master可以接管宕机节点未运行完的任务,将其分发到存活的工作节点上从断点处继续执行。该调度框架已经被数据同步,异常检测计算以及异常汇聚计算所共用。
2. 设计并开发了智能特性告警event聚类处理流程,其中独立开发了dbscan聚类算法并取得了理想的故障流聚类结果。
荣誉记录
2018.11-至今
优秀转正新员工
部门编程比赛第三名
PDU Q2好代码奖 共2人
公共开发之星
PTN项目领头雁奖
华为数通产品线软件精英百强
技能和技术栈
英语: CET-4: 544;CET-6: 521
熟练使用Java进行编程,熟悉并发编程以及能够熟练使用jdk并发框架进行开发,对于常用的持有对象的源码实现有一定了解。了解JVM的垃圾回收机制、类加载机制、调优工具以及JVM运行参数。
熟练使用spring,springboot,对于springcloud有一定了解,熟悉spring ioc和aop的实现机制,并且能够熟练运用spring的基础特性和高级特性进行开发。
了解BIO,NIO,AIO的机制,对于netty有一定的了解和使用经验。
熟练使用一些大数据组件,例如hadoop,spark,kafka,hbase,elasticsearch等等。
熟悉golang,scala,python。
熟悉常用的设计模式,并且能运用到开发工作中,有一定的代码洁癖。