企业简介:
部门经理&临时项目经理
工作职责: 深入研究Storm、Spark等hadoop生态圈相关技术,为实时流应用场景提供技术支持,带领团队成员研发自有产品实时流决策引擎。
项目一: 实时流决策引擎开发
实时数据处理引擎平台是一款以storm、spark streaming等实时类技术为核心为用户提供实时数据采集、数据处理以及数据服务的平台,它提供了可视化的界面来配置数据源,将数据处理过程抽象成不同的事件操作,最终将整个数据处理流程整合为一个完整的实时场景服务,大大减轻了用户使用的难度,开发人员、测试人员以及运维人员等可以很方便的发布实时类场景应用。
项目二: 联通总部信令数据采集实时加工
storm接收socket发送的数据,转换为十进制,分别关联oracle和hbase数据库码表信息并将结果入到hbase中;用NIO实现了多个socket客户端访问同一server端口;实现用storm DRPC提供外部访问接口。
项目三: 湖北联通实时营销
湖北联通终端换机实时营销、大流量使用预警、4g业务咨询实时监控、竞争对手信息访问实时监控4个业务的开发测试及现场部署。
项目四: 中国联通实时数据处理引擎项目
中国联通大数据平台作为数据存储、处理及服务中心采集各类数据,传统的日\月周期的分析已不能满足业务发展需求,场景化营销、实时事件感知服务等需求要求大数据平台具备实时化的数据采集、处理并提供标准化服务的能力。基于实时引擎结合具体业务需求场景进行实时业务能力沉淀,如满足实时位置分析及营销的实时位置\轨迹、区域热力服务,满足实时查询场景的用户状态查询等。为了提升对外合作防欺诈服务能力,对综采话单的数据处理进行实时化改造,降低数据处理及服务时延;对互联网流量日志数据处理进行实时化改造,降低数据处理及服务时延,沉淀用户访问网站、使用APP等实时能力。
其它项目: 北京联通产创大数据项目、研究院数据挖掘分析平台等。
离职原因: 从北京回山东。