项目介绍:
益众购物是一个电商平台，种类丰富，商品涵盖范围广，益众购物app提供贴心的售后服务，让你在这里买东西无需有任何担心，采用厂家直购，为你省钱保质量，益众购物app是人们首选的购物平台之一， 并且折扣,不定期更新优惠活动：半价、特价、抽奖等各种福利，将会产生大量的用户行为数据
为了更好提高用户的购物体验，改善公司运行 ，我们对其进行埋点和业务交互统计,根据平台以及后端发回的埋点数据和业务数据,进行脱敏处理，维度退化，数据清洗，计算，结合产品经理的需求,按各种的维度统计各种指标,来支持运营人员及公司高层做各种决策
技术架构：
Nginx+Hadoop+Zookeeper+Flume+Kafka+HDFS+Hive+Sqoop+Mysql+ Azkaban
责任描述：
· 数据存储平台的搭建以及对节点进行规划
· 根据业务数据量进行架构选型并设计数仓整体架构,保证集群的正常运行并对其进行优化
· 将ETL的数据存储到Hive中，对不同需求进行不同的SQL实现
· 完成不同主题的离线指标分析,如新增，活跃，沉默，回流以及连续等业务指标
· 编写对应的 Shell 脚本利用 Azkaban 来进行调度跑出每天的指标信息
· 解决项目中疑难问题的出现，进行分析处理，得到解决
技术描述：
1. 搭建Hadoop集群进行基准测试，以及对Kafka进行自带的压力测试,相对应的实施监控，进行调优
2. 从Nginx反向代理获取日志信息，通过Flume采集到Kafka,采用KafkaChannel，省去一个Sink用来提升效率
3. 通过Sqoop将MySQL业务数据导入到Kafka中，同时解决了导入导出Null值的问题，保证数据一致性
4. Kafka之后再次采用Flume对接数据，使用File Channel保证数据的不丢失并且解决HDFS端的小文件的问题
5. ODS层保存用户行为的原始数据，数据按天进行分区，使用Snappy、parquet 压缩存储，减少存储空间
6. DWD层主要对用户行为数据进行ETL,采用Hive中的UDF和UDTF对公共字段和时间字段进行处理
7. DWS层做一些宽表，比如用户行为、购买明细，还有一些日周月活等基本的明细表
8. ADS层是对一些业务指标的分析，根据DWS层的基本表，分析用户新增，用户留存，沉默用户
9. 自定义shell脚本，使用azkaban定时调度脚本加载数据到表中
项目名称: 项目经验
益众购物 用户画像系统
项目介绍：
本项目是对益众购物的用户画像，通过收集用户人口属性、社会属性、消费习惯、偏好 特征等各个维度的数据从某一个具体方面对某一类用户行为进行具体研究、分析，提出针对这一类用户的解决或推荐方案，在此基础上做到精准的⼴告投放也会更有价值
技术架构：
Hadoop + Zookeeper + Flume + Kafka + MySQL + Sqoop + Hbase + Hive
责任描述：
· 首先参与了项目架构选型，分析Hive中用户的登录的次数，时长等
· 分析Mysql中的用户表，分析性别，年龄，手机运营商，地域等
· 其次对数据进行清洗存储到数据库中
· 最后负责统计类和规则模块编写
技术描述：
1. 通过Flume采集所需要的日志信息存到Hdfs中将Hdfs数据并进行预处理存入Hive
2. 使用Spark分析Hive中用户行为数据,打标签:登录次数,登录时长,用户喜好等
3. 通过Spark分析Mysql中用户表,为用户打标签:性别,年龄,支付方式等
4. 将用户的画像信息放入Mysql中进行保存
5. 使用Sqoop将Mysql中的数据导入到Hbase中项目经验用azkaban定时调度脚本加载数据到表中

项目名称：
临汾CACS综合监控平台
项目介绍：
临汾在城市不断发展的情况下，希望对交通车辆的监控做到精准预测，推进城市的智能化。本项目需要从每个
卡口的监控摄像头上获取车辆数据信息，然后经过过滤、清洗，转换等操作生成业务要求的数据集，将结果展示在交控
大屏上给交通厅，实时更新数据
技术架构：
Hadoop+Hive+Flume+Mysql+Sqoop+Spark Streaming+Redis+Hbase
责任描述：
· 参与集群规划，部署等，并为其他部门提供技术支持
· 采用Flume采集数据，进行清洗，过滤，保存
· 运用Hive进行外来车辆所在省份统计，车辆行驶轨迹等离线业务分析
· 运用Spark进行实时路况（卡口平均速度和拥堵情况），抓捕套牌车等实时业务计算
技术描述：
1. Flume从FTP服务器通过断点续传的方式采集数据，进行清洗，过滤，保存到kafka和hdfs
2. Hive中从hdfs中加载进来，采用UDF函数进行外来车辆所在省份统计，车辆行驶轨迹等离线业务分析
3. 搭建Spark Streamig框架，整合kafka和spark streaming接口，进行实时路况（卡口平均速度和拥堵情况），抓捕套牌车等实时业务计算
4. 解决数据分析及数据报表等问题