1.所在项目组为营销存储服务(Marketing Inventory Service),简称Mis,项目主
要业务是向外提供api接口来访问marketing data(每个商品的信息),对客户端屏蔽
掉内部数据存储和处理的复杂性。支持高效低延迟的根据item ID, seller ID, category
ID的查询,也可以支持自定义查询标准UDF(User Defined Functions)。mis同样
也支持stream流推送服务,消费者经过注册后,可以监听到item所发生的改变,例如
new listing、price change 和item expirations。
其业务核心主要是由大数据工程(spark)和service工程组成,数据量化目前大约
40亿条左右,由关系型数据库tidb负责存储,主要是商品信息,如
price,item_id,tax等将近130个字段。内部复杂性来自于大数据量以及对这些数据
量的不同的访问方式,通过NuKv缓存数据库为客户端带来高效低延迟的数据检索,同
时在关系型数据库方面为表字段添加主键索引和组合索引。在大数据领域并没有单一
的解决方案,因此我们依靠不同的数据库处理方式来实现它们。我们这些方案用来解
决数据的不同和一致性挑战,给客户端提供方便来访问我们的数据。
性能方面,我们通过上述这些手段,外加service端的集群部署(630个节点),目
前Mis支持百万级并发,数据延迟保持在50毫秒以内。
2.涉及技术栈:
Scala,Java,Spark,Flink,Hadoop,Tidb,Nukv,kafka,DeltaLake等。
3.我在项目组所做的工作。
参与设计Spark job业务流程,并编写相关核心Spark job业务代码,例如superset
job上游数据流,generic stream job实时数据流,dump job加载Tidb数据
流,batch_correction job批量比对数据流,blacklist job敏感数据过滤流等。
参与设计Tidb dao层面的代码业务工程,主要负责消费kafka数据,使得数据落
盘,然后同样发送kafka消息更新缓存,使业务代码具有通用性,不止适用于mis,还
适用于其他多项业务处理。
设计并编写spark job的分布式锁。
设计并编写kafka在多线程和单线程条件下的限流。

1. 公司主要后端项目为学天后台管理系统,此项目是由java语言所开发的众多web微
服务模块所组成,例如:客服督学、报名、业绩提成、大客户、发票等。
2. 项目中所用技术栈,主要有springboot、redis、rabbitmq、mysql以及mybatis
等java常用技术。
3. 我作为java后端开发在项目中主要负责客服督学、报名、业绩提成、大客户、发票
等这些微服务模块的整体重构开发以及相关的问题定位修改,期间主动对一些相关
不符合cleancode标准的业务代码进行优化。

1. 智能安防部门核心项目为检索引擎,它以上游摄像机端采集到的视频或者图片分别
作为动静数据源,利用相关算法插件,例如:人脸识别、人体识别、车辆检索等对
得到的数据源进行相应的布控检索,有以静态图片库为比对源的1v1人脸静态检
索,以及以视频为比对源的1vN动态库检索,包括人脸、人体、车辆、车牌等。项
目组以检索为核心发散出了打标签、人脸布控、一人一档等业务。
2. 整个检索项目所使用到的核心技术栈即为C++语言,也使用到了kudu这一数据库
对相关结构化和非结构化数据进行存储。
3. 我在项目组中负责检索模块人脸1v1比对,以及布控、打标签业务的版本迭代开
发,问题单修改,测试问题定位,现网问题定位,代码cleancode相关排查。
4. 参与重构智能安防部门检索业务上游的业务中,关于摄像机互联和定位的以java语
言开发的服务端项目。