项目一: 联合利华数据仓库
技术点: sql server ,BODS,TABLEAU
主要工具: Microsoft SQL Server 2008
软件环境: Windows7
工作内容:
联合利华的数据仓库分为9大主题,考察产品的上架情况,销售情况,货品的摆放,与竞争对手宝洁的货架摆放,还是新产品的销售情况等等。
根据以上9个KPI考核每一家门店的销售情况,其中按照周期分为按每天,每周,每月的考核周期。
客户会给出每个KPI考核指标,合格与否所要达到的条件,考核区域也分为门店级别与区域级别。
调度工具用的是BO DATASERVICE ,ETL处理是SQL SERVER 存储过程,客户有一个考核系统,每天都会有地推人员根据每个门店的产品情况进行填报,然后每天的数据打包发布到ODS平台
ETL系统会将所有的数据统计抽取到DW数据库平台不做数据转换。
根据不同的KPI,我们将数据按照表名导入到不同的DM平台的表中。
按照客户的要求,建立维表,比如产品代码客户按照缓慢变化维的形式进行更新,每月新品则是按照增量更新,加上每月的时间戳,进行划分。
通过编写存储过程,调度有bods执行,数据生成到最终的目标表中,通过BO系统抽取,创建映射到BO中的表,通过Universe关联,创建相对应的报表结构。
项目二: 兴业银行数据仓库
2015.12---2016.12
项目简介: 对客户要求历史交易数据进行提取,对客户进行数据分析
技术点: TERADATA、Python
主要工具: TERADATA
软件环境: Windows7、TERADATA
工作内容:
1、 根据客户需求对数据历史交易数据进行整理分析
2、 使用fastload等工具对数据导入导出数据同步
3、 处理问题: 处理测试反馈的问题清单
4、 Teradata完成数据的抽取、清洗、加载与转换,并建立了源业务系统数据的暂存和访问接口机制以及面向应用和数据集市的数据访问接口机制。基于数据仓库的应用系统建设的主题规划,还通过系统管理和元数据管理等手段完善企业级数据仓库的管理,并借助数据仓库项目建设和维护方法论,建立起企业级数据仓库长期发展的管理架构和运作流程。并为全行客户信息管理、客户关系管理、风险管理、绩效考核、产品利润贡献度分析和财务管理等提供了科学有力的决策支持。
项目三: 上交所数据仓库
技术点: TERADATA
主要工具: TERADATA、automation
软件环境: Windows7、TERADATA
工作内容:
1、 根据客户要求开发作业流
2、 作业部署上线、日常巡检
3、 配合前端人员做报表的整合开发
4、编写AUTOMATION脚本执行,监控作业调度。
5、数据仓库主从双系统(生产系统和灾备系统),校验主从系统数据准确性。
6、每天交易数据通过ETL处理,加工成下发数据,包括如股票、基金、债券的成交、申报、持有等原始信息,新股申购、新股发行等信息,以及上市公司、会员、基金、债券、行情、板块、指数等各类证券市场相关信息。