职责描述:
1. 微税项目hadoop大数据平台、spark大数据平台的搭建与维护,postgresql分布式数据库的日常维护。
2. 微税客户端用户行为数据采集功能的开发实现、用户行为数据的存储、预处理与数据分析。
3. 开发基于用户行为数据的pv/uv等商机查询web分析工具。
4. 应用东方通tlq以及kettle等中间件与ETL工具,实现用户行为数据跨数据库、跨平台的同步与迁移工作。
5. 搭建基于solr、nutch等开源搜索引擎的网页爬虫与资讯信息自动抓取工具。
6. 应用matlab以及sap boe等BI商业智能分析工具,实现crm数据以及用户行为数据的统计分析与可视化实现。