岗位职责及业绩:
1. 进行软件架构的标准化设计和管理;
2. 构建并改进应用程序企业级可运行软件架构的标准套餐,建立企业级开发规范,同时负责推广技术规范,包括但不限于推广开发架构与编码规范;
3. 帮助管理层选择应用程序架构与相关产品,协调行业专家, 把握技术发展方向并引入新技术、工具和方法;
4. 参与项目性能调优,负责项目架构设计及验证,保证系统符合企业架构设计规范。
项目案例:
1) 该网络产品定位为垂直搜索引擎,通过用户行为轨迹分析,挖掘发现用户行为之间内在的逻辑关系,综合用户多维度因素和特征描述完成用户画像。
2) 当用户搜索本司金融产品/服务时,为其提供最大可能或最大价值的种类,经过用户分群、有针对性的推送消息(对不同的用户群推送不同类型的消息),用户的响应率提升38.57%,从根本上提高产品/服务推荐的命中率,并且不断推陈出新。长期来看,不但能够留存已有用户,还能大量发展新加用户,逐步培养庞大的用户群体和知名的用户口碑,提升该企业的业务收入。
3) 采用的方式方法是在原有系统日志的基础上,在业务系统前端放置关键的数据埋点,随后对产生多渠道/来源的大批量日志作采集、规整和深度分析。基于Hadoop大数据平台,系统前部使用flume+kafka,后部使用Spark实时流处理产生分析结果存放于结构化数据库(MySQL),用于对现有业务系统的数据支撑;同时,将采集到的原始数据写入Hdfs,用于后续其他离线批处理分析。总体流程为: 数据收集(采集集群)->数据清洗(拟采用Storm去掉停用词)->数据查找(聚类查找感兴趣用户)->结果评估(重新审视数据作优化迭代)->结果展示(PC端或手机端等多种方式)。
系统整体架构如下(经简化) :
针对我们最终的不同分析模块,我们需要不同的数据,接下来分别从各个模块分析,每个模块需要的数据。用户基本信息就是用户的浏览行为信息分析,也就是我们只需要pageView事件就可以了;浏览器信息分析以及地域信息分析其实就是在用户基本信息分析的基础上添加浏览器和地域这个维度信息,其中浏览器信息我们可以通过浏览器的window.navigator.userAgent来进行分析,地域信息可以通过Nginx服务器来收集用户的ip地址来进行分析,也就是说pageView事件也可以满足这两个模块的分析。外链数据分析以及用户浏览深度分析我们可以在pageView事件中添加访问页面的当前url和前一个页面的url来进行处理分析,也就是说pageView事件也可以满足这两个模块的分析。订单信息分析要求pc端发送一个订单产生的事件,那么对应这个模块的分析,我们需要一个新的事件chargeRequest。除此之外,我们还需要设置一个launch事件来记录新用户的访问。
项目业绩: 解决多项技术难题,大力优化了系统性能,日常总结和输出相关专题解决方案,为公司培养多名开发骨干。