大数据与分布式调度系统方向
PANDA 系统(宜信用户信息平台)
离线数据业务
独立开发一个月完成上线,涉及20多个 SQL 脚本,开发自动化运维程序(Python)
用户数据模型搭建,HIVE 库与业务库映射,增量,全量操作;
数据迁移,数据对比
在线数据
离线数据增量到关系型数据库(sqoop,mysql),同时增量到 ElasticSearch 做检索,关系型数据库保证数据完整性,ES 提
供高性能检索
用户开户,修改,批量数据同步,检索规则配置
分布式任务调度系统
提供宜信多个部门的任务调度服务
基于 RabbitMq 中心化任务调度,提供日志监控,预警,重试保证消息可靠性;
Quartz 高可用部署,提供 SDK 快速接入作为消费者;
实现定时触发,任务分片,任务依赖,任务隔离;
智能催收系统-分案模块(3人2周完成)
每日获取逾期未还的用户数据,按策略自动分发给催收员,系统包括案件筛选,归集,更新状态等
单机使用 MapDB 与流式 SQL 进行离线数据处理,防止离线任务由于数据量导致 OOM
基于 Mysql 的案件筛选功能,优化索引性能
多人分工根据筛选,策略归集,更新三个步骤划分业务边界;