互联网/移动互联网/电子商务
下属人数:10 | 所在地区:北京
工作职责和业绩: 明美(北京)数据技术有限公司是天津海量信息技术有限公司的一个孵化子公司,公司孵化的产品是面向金融客户的贷前及贷后的风险评估系统。该产品依托是互联网上的海量、公开的数据,面向银行、信托等金融客户,协助客户的信贷部门,实现对被放贷企业的贷前风险评估及贷后风险监控,从而降低客户在投贷过程中的风险。
本人全程参与了该产品的研发工作:从产品初期的构想验证,到后来技术架构的确定,到各个功能模块的开发,到后期的数据来源的丰富和更贴近用户功能的扩展。从这一系列的过程中,自己在很多方面得到了锻炼,也收获了很多。
在产品的构想验证阶段,以HBase作为应用数据的核心存储,关系数据库MySQL及图数据库Neo4j为辅助存储的结构;按照爬虫抓取、数据提取,业务数据转换及业务数据接口等的层次进行设计及开发。这种架构在随后使用中存在着数据转换延时较大,业务接口维护难度较高的不足。
在产品的开发阶段,引入微服务技术架构进行迭代开发,同时引入了阿里云的相关服务,不再自行维护服务器。
首先,网络爬虫功能迁移到ECS云主机上运行;爬虫数据提取引擎将提取后的数据存放在阿里OSS对象存储服务中;结合OSS的API以轮询的方式从OSS Bucket将数据读出,写入到MongoDB中,这样做以后,即降低入库的时延,同时还解耦了原爬虫功能和数据存储间的强关联;
将业务按照功能分块,采用Spring Cloud系列相关技术,实现不同业务在微服务架构下的Restful API开发,采用OAuth2方式对管理接口的安全性。经过重新设计的架构更易实现开发快速,配置管理便捷,问题定位及排查错误迅速等特点。后来引入Docker及Docker编排进行应用的部署,提升部署的效率。
在第三阶段,为了使数据形式更丰富,引入了第三方的数据接口。但怎样高效而且及时地获取第三方提供的数据呢?最终我们确认使用ELK技术栈实现了数据的接收、转换、入库及展现的工作。
此后还开发了微信公众号功能,让用户通过订阅目标企业动态,能够随时随地了解被投贷企业的信息,查看关注企业的风险评估报告。
在进行开发工作中身体力行,同时还注重团队开发流程化管理、团队成员的编码习惯的培养,团队积极氛围的养成等。