点购商城⽤用户⾏行行为分析平台及商品智能推荐系统
根据前端服务器器Nginx对⽤用户⾏行行为监测所采集的数据进⾏行行实时分析,通过离线Hadoop分析出⽤用户的
⾏行行为习惯、访问⽹网站的规律律、⽹网⻚页的设计合理理性、不不同来源的收益分析,并将这些分析结果与⽹网络 营销策略略等相结合,根据⽤用户喜好和历史购买⾏行行为制定⽤用户画像,为⽤用户智能推荐其感兴趣的商品。
使⽤用逻辑回归算法进⾏行行建⽴立模型,得到商品的基本权重和随机抽取⽤用户历史购买的3个关联权重,将 商品的权重相加后排序,然后为⽤用户提供权重值最⾼高的(最符合⽤用户兴趣爱好的)商品。
软件架构: Flume+HDFS+MapReduce+Hive+Mysql+Sqoop
所属部⻔门:
个⼈人职责: 1.完成ETL的相关⼯工作,将结果保存到数据库中
2. 使⽤用python脚本进⾏行行数据格式化
3. 编写Scala代码将模型特征提取后转换为稀疏向量量,构建LabeldPoint,调⽤用LogisticRegressionWithSGD.train⽅方法进⾏行行训练
4. 通过模型进⾏行行模型特征权重的提取