工作描述:
负责用友BIP3企业数智化底座iuap的智能中台产品的技术架构设计以及企业客户需求分析并提供解
决方案支持,智能中台产品包括用友企业服务大模型YonGPT、数智员工、机器人流程自动化RPA、虚
拟个人助手VPA、知识图谱、智能大搜、AI工作坊、场景化智能服务、企业画像等。核心产品技术架
构如下:
一、用友企业服务大模型YonGPT
1. YonGPT大模型整体架构
2. RAG检索增强生成
3. 语义驱动Agent智能体
4. 决策GPT解决复杂任务执行系统
二、数智员工整体架构
三、智能大搜整体架构
四、知识图谱整体架构
五、AI工作坊整体架构
六、智能中台整体架构

工作描述:
全面负责大数据中心事务,包括大数据底层体系建设、数据及AI中台建设,智能建库,数据挖掘应
用及NLP应用落地。参与ChatGPT、GPT4,百度文心一言的应用场景规划及落地,推出智能问答机器
人、智能写作助手、模拟法庭、智慧立法、法宝GPT等产品。以及开源大语言模型的训练微调,比如:
Meta公司的LLaMA2系列LLM大模型和清华大学开源ChatGLM-6B和ChatGLM2-6B、百川智能、中文大
语言模型Chinese-LLaMA-Alpaca等大模型。参与在线法宝Web产品及移动端相关应用后端开发及项
目研发。
一、参与构建AI人工智能类应用
1.法宝搜索引擎应用及优化(底层用Elasticsearch搜索引擎)
2.个性化智能推荐算法系统
3.数据挖掘应用,用户画像系统等。
4.参与ChatGPT、GPT4,百度文心一言的应用场景规划及落地,及开源大语言模型的训练微调,GPT3.5
和4.0的外挂向量数据库的embedding嵌入微调,开源大模型LLaMA2及清华大学开源ChatGLM2-6B
的LoRA模型微调、P-tuning模型微调、Prompt-tuning指令微调。
5.数据分析BI可视化
6.智能建库:根据一句话和词 GPT大模型应用 自动生成构建个性化系统
二、大数据平台建设
下面分别列出总体逻辑架构和物理技术架构图。
1. 大数据平台分层逻辑架构如下:
总体分层架构自下而上分为四层,分别是数据采集层、大数据底座、数据中台层、应用层。
他们之间自下而上产生数据依赖。数据依赖流程是:数据采集层通过爬虫采集外站数据及公司内
部业务数据库的同步到大数据底座,数据中台层对大数据底座提供一系列的可视化工具来提高开
发效率、数据供应效率、提升数据安全等,最上游的应用层如法宝前台,业务中台等通过数据中
台的数据API接口进行访问获取数据。下面对每层详细讲解:
1) 数据采集层
数据采集层分为外部采集数据和公司内部业务数据。外部采集是通过爬虫技术实现全量和增
量的采集。通过数据采集自动化平台可以实现配置网站源链接,自动抓取及解析生成结构化数据
到大数据底座。数据采集平台也存了一份原始网页的数据,如果发现解析错误,不用重新采集源
网站,直接再解析一次抓取下的原始网页数据即可。
2) 大数据底座
Flink+Hudi 架构湖仓一体化,大数据底座分为三种类型的分布式数据库:离线数据仓库、
实时数据仓库、ES搜索数据。
离线数据仓库:
指的是数据湖hudi、数据仓库hive、Hbase,底层都是基于Hadoop的HDFS存储。
实时数据仓库:
指的是apachedoris、ClickHouse、greenplum、kylin等OLAP数据库,可以亚秒级别快速
分析返回数据,供Superset、MetaBase、DataEase等BI可视化工具进行实时展现。
ES搜索数据:
用来为法宝前台检索系统、后台系统的数据查询、及其他项目提供搜索索引数据。实现分类
筛选、中文分词相关度搜索等。
3)数据中台层
数据中台是在大数据底座基础上封装了一些列的web可视化工具,用来提高开发效率、数据
供应效率,增强数据安全。他包含了十大子系统,如元数据管理系统、数据质量管理、数据服务
管理、数据化运维管理、主数据管理系统、自助取数平台、业务规则引擎平台、分布式调度系统
平台、AB测试平台、数据挖掘平台,他们每个子系统各有所长,如同八仙过海各显神通。
各个子系统的功能会在物理技术架构后面一一详细讲解。
4) 应用层
应用层从数据中台的子系统获取数据,不直接查询大数据底座。应用层包含法宝V6前台、法宝
检索系统、业务中台、业务后台系统、其他项目支撑等。
图1 大数据平台分层逻辑架构
2.大数据平台物理技术架构图如下(下一页):
图2 物理技术架构

工作描述:
1、App、网站和大数据算法研发工作:
从0到1搭建充电了么App和网站(JavaWeb),具体包含系统架构设计、搭建阿里云服务
器、web网站、APP客户端安卓和苹果ios,B端和C端业务系统,分布式爬虫系统,Hadoop
大数据平台,自然语言处理NLP,深度学习平台,机器学习,个性化推荐算法系统、搜索引
擎、对话机器人等。开发语言涉及到Java、Python、Scala。
2、个人书籍著作:
自己给清华大学出版社写了两本书,其中一本是关于大数据+人工智能方向的新书《分布式
机器学习实战》,清华大学出版社。在京东,当当网,天猫,高校图书馆,以及各地线下新
华书店都有。
新书《分布式机器学习实战》(人工智能科学与技术丛书)清华出版社京东自营地址:
https://item.jd.com/12743009.html
另外一本书是《自然语言处理原理与实战》。
3.直播授课工作
除了研发充电了么App、大数据算法产品研发外,自己也全程亲授直播课,在腾讯课堂直播
授课Java、Python、Scala、大数据、人工智能、推荐算法、NLP自然语言处理等课程200
多节直播和录播课程,累计近30万学员。

工作描述:
技术上负责大数据平台、机器学习、深度学习、个性化推荐算法、搜索引擎、对话机器人、人脸识别、
知识图谱、基础架构、web服务、前端开发、安卓和ios移动开发、爬虫。
负责的B端业务系统有:客户推荐系统、基于自然语言交互的办公表单自动创建对话机器人、人脸识
别打卡、CRM客户关系管理系统、大数据舆情监测、知识图谱、爬虫系统(爬取天眼查、企查查、工商企业数据、新闻资讯数据)。
C端业务线有:今日头条资讯/职场资讯 App手机客户端。
下属团队有:大数据平台组,算法组,数据分析组,爬虫组,Java工程组,App移动开发组,产品。
团队管理方法:Scrum敏捷开发管理,one-to-one管理。
自己的技术和管理的时间占比:大概四六开的比例。

工作描述:
主要职责是负责大数据平台、机器学习、人工智能、自然语言云平台、搜索引擎、个性
化推荐系统、广告系统统计、人脸识别、语音识别、文章质量评级系统、基于spark分布式
爬虫洗稿平台、错别字识别系统、对话机器人、敏感词识别、用户画像系统、情感分析系统、
javaweb系统服务和后台管理、数据报表可视化、移动app等相关项目。以下是项目介绍:
一、大数据平台:
由于项目比较多,所以依赖的大数据生态系统的框架也很多。Hadoop2 ,storm/sparkstreaming(实时性高的用storm,低的用sparkstreaming)、spark批处理、hive、hbase、flume、kafka、sqoop,
mahout、zookeeper、Presto实时查询、kylin、Phoenix、caravel可视化报表、solr cloud集群、
redis 3.0、azkaban任务调度。
二、文章质量评级系统:
通过人工标注的好文章和机器程序生成的差文章作为训练语料,从文章质量的不同
维度计算数据质量特征:文章长度得分,标题错别字得分,内容错别字得分,标题和内
容相似度得分,排版质量得分,标题敏感词得分,内容敏感词得分,语句通顺度n-gram
语言模型得分,语句通顺度n-pos词性标注语言模型得分,标点符号合理度得分,段落
间相似度得分总共11个特征值计算。这些特征数据就是机器学习的训练样本,这边尝
试了随机森林RF,神经网络NN,逻辑回归LR,梯度提升决策树GBDT,每次从训练样
本随机拆分出70%作为训练样本,剩下的30%作为测试样本,经过测试和参数调优,随
机森林RF效果是最好的,模型评估指标AUC为99%, 准确率为91%。模型训练完之后
会把模型持久化到磁盘,在线web预测服务会加载持久化模型,对文章质量进行实时
预测评级。目前分了四级:好、中、差、很差。
三、个性化推荐系统:
算法分为离线算法、准实时算法、在线算法三部分。具体核心算法有:
1)基于用户行为协同过滤算法;
2)基于文本挖掘自然语言处理的contentbase基于内容算法;
3)多策略融合算法;
4)基于线上用户的正负例反馈数据的监督学习算法随机森林和神经网络;
5) 流式增量协同过滤算法;
6)用户兴趣标签提取算法;
7) 文章阅读用户心理学模型
8) 在线预测算法。
四、个性化搜索引擎:
搜索引擎框架我们采用的开源Solrcloud云搜索,已经发展多年,很成熟和稳定。
我们使用spark对文章搜索做索引的初始化,之后通过消息通知机制来增量更新索
引,比如文章新增、修改会通知我们埋点接口服务,实时更新solr索引。
自己封装web文章搜索接口实现中文分词搜索,除了普通搜索,我们融入了个性
化搜索,也就是每个用户输入相同的关键词看到的搜索结果可能不是一样的,即使同一
个用户,当发生大量用户行为的情况下,输入相同关键词,在不同时间看到的结果也是
不一样的,也就是搜索会根据用户兴趣进行实时的迁移。这个个性化完全依赖于智能推
荐引擎。每次搜索都会获取这个用户的个性化推荐结果来和搜索结果取交集。得到的结
果整体上就是既和关键词相关,又和用户兴趣相关。
五、spark分布式爬虫洗稿平台:
通过spark分布式抓取平台抓取各个新闻的网站文章经过文章质量评级算法、敏感
词识别算法、负面情感评论的过滤等,把好文章存到hadoop、solr搜索引擎。
洗稿算法有:
1)文章质量评级算法:详细参见文章质量评级文档;
2)敏感词识别算法:详细参见敏感词深度识别文档;
3)负面情感评论的过滤:详细参见情感分析系统文档。
解析算法有:
1)文章标题解析;
2)文章正文内容解析;
3)带html排版结构的正文解析。
六、对话机器人:
多个算法策略实现智能客服、闲聊、知识图谱、成语接龙、对联生成、诗词生成、周公
解梦、猜谜语、计算器等等:
1、深度学习seq2seq算法—解决闲聊对话
2、深度强化学习DeepReinforcementLearning (DQN)--多轮对话优化
3、搜索匹配,计算和用户问题文本相似度最相似的问答对 -- 使用solrcloud开发搜
索排序插件
4、知识图谱问答策略—使用图形数据库Neo4j解决知识图谱实体属性的匹配
5、增加其他规则性的算法控制
七、错别字识别系统:
错别字识别主要的算法是抓取大量文章,使用序列模式挖掘算法PrefixSpan训练一
个ngram语言模型,结合海量正确词库和错误词库进行错别字识别,同时使用solr搜
索引擎,结合ngram语言模型,查找和前缀词拼凑一起的拼音相似和词形相似的共现
频率支持度较高的词作为纠错词的推荐。
n-gram是一种统计语言模型,用来根据前(n-1)个item来预测第n个item。在应
用层面,这些item可以是音素(语音识别应用)、字符(输入法应用)、词(分词应用)
或碱基对(基因信息)。一般来讲,可以从大规模文本或音频语料库生成n-gram模型。
习惯上,1-gram叫unigram,2-gram称为bigram,3-gram是trigram。还有four-gram、
five-gram等,不过大于n>5的应用很少见。
我们主要使用bigram和trigram。对应的还加入基于词性的统计npos语言模型,
同样用二元bipos和三元tripos。
八、敏感词深度识别:
从原始词编辑距离相似度、拼音编辑距离相似度、词形相似度、语义相似度、声调
相似度5个维度计算和敏感词库的相似性,相似度达到指定阈值的时候给予敏感词提醒。
1)文章内容标准化:全角转半角,繁体转简体等等;
2)遍历词库的每一个词(这些词目前有2000个),分别和文章内容里的所有相同长
度的词(挨个按比较的敏感词长度拼词,这个词的数量一般就是文章内容的字数,一般大约500到几千不等,假定按3000字计算),整体计算复杂度为2000*3000=600万次;
3)每个词库里的敏感词和文章里的每个词计算原始词编辑距离相似度、拼音编辑
距离相似度、词形相似度、语义相似度、声调相似度,然后把这5个相似度分值以不同
权重按加权平均法算法总分。
九、情感分析系统:
基于词典和监督分类的两种实现方式。
十、关键词和自动摘要:
都是使用TextRank算法提取。
十一、用户画像系统:
主要是hive离线统计和spark相关标签算法计算。
十二、广告系统统计:
接口+hbase+hive统计。
十三、报表系统:
1、基于java Spring mvc和百度echars图表可视化开发 2、caravel可视化报表工具配置。
十四、java web服务和自然语言云平台:
目前有搜索服务、推荐服务、埋点服务、自然语言服务和web云平台。
十五 、人脸识别和年龄识别预测
基于TensorFlow深度学习的CNN卷积神经网络人脸识别,人脸检测和对齐,人脸比对,人脸年龄和
性别预测
十六、语音识别
基于TensorFlow深度学习端到端的学习。

工作描述:
大数据、机器学习、推荐系统架构师/专家
猎聘网大数据推荐算法系统负责人leader/owner,带领团队负责架构、编码、产品规划、管理、以
及Hadoop、Spark平台的搭建运维及调优。
主要成绩:在2015年度推荐系统获得优秀创新项目奖,为求职者推荐职位系统业绩:推荐系统产生
的应聘总数占全站的45%以上。为企业推荐简历业绩:企业满意率达到30%。
我们大数据推荐系统主要组成部分:ETL平台、hadoop/spark离线计算模块、文本挖掘/自然语言处
理/Solr Cloud搜索模块、Spark Streaming/Storm在线学习模块、混合策略模块、排序系统模块、
缓存模块、在线接口服务模块,AB测试平台、推荐后台管理模块、数据可视化分析tableau展示。
除了推荐系统,还有用户画像系统、垃圾简历过滤系统,问答标签系统,hive数据仓库建设,azkaban
调度系统,分析工具平台。
一、ETL模块:
开发了一个推荐ETL平台,通过配置sql语句可以自动从BI的数据仓库提取数据。涉及到的技术点
有hadoop、hive、flume、sqoop、Hbase、Presto、Spark SQL
二、Hadoop离线计算模块:
主要有自己研发协同过滤算法itemBase、userBase、KNN,能支持多数据源和时间窗,还有mahout
的协同过滤、混合策略。
三、Spark离线计算模块:
混合策略(后期从HadoopMapreduce版本改到Spark的Scala版本),ALS协同过滤、LDA主题词提
取、Word2Vec、图计算、贝叶斯、SVM、逻辑回归、决策树、GBDT、随机森林
四、文本挖掘/自然语言处理/Solr Cloud搜索模块:
1、技能词识别:文本匹配算法上采用CRF条件随机场+人工的方式识别新的技能词,word2vec做相
似技能词扩展,把技能词作为关键词去solr里面搜索,目的是推荐的出来的人的技能和职位要求的
技能更匹配。
2、使用SolrCloud4.10做搜索匹配,业务上用于职位推荐、简历推荐、还有其他一些业务上精准匹
配。
3、问答标签系统:使用LDA主题词提取对猎聘同道问答里的问答内容做聚类进而通过人工整理出问
答的标签分类。
五、Spark Streaming/Storm在线学习模块:
现在有在线准实时的KNN/协同过滤算法,目的是把用户最近的行为更新到模型,另一方面也可以减
少冷启动。
六、混合策略模块:
把来自hadoop、spark、solr各个离线算法结果按某种策略以不同权重进行混合,这样比单个的策略
效果好20%左右,同时覆盖率也有很大提升。
七、排序系统模块:
1、尝试了贝叶斯、SVM支持向量机、逻辑回归、决策树、GBDT、随机森林,其中GBDT、随机森林精
准度最高,但GBDT不能多棵树并行跑,性能差一些,所以最终选择了随机森林。
2、Learning to rank(LTR)
我们使用了Listwise中的LambdaMART,本质采用了调用spark决策树回归算法迭代的计算NDCG得
分,同时迭代更新模型。
八、缓存模块:
主要使用Redis存储计算结果,和其他一些业务上的数据也存在Redis中,目的是提高对外接口服务
响应的性能。
九、在线接口服务模块:
主要是对外提供的一个接口,是一个JavaWeb项目,部署在tomcat中,供前端网站调用,返回Json
数据,这个模块很重要,也是经常变更的模块。对性能要求很高。同时很多在线排序学习都在这个模
块。说实话,接口的逻辑挺复杂,包含如何针对用户推荐职位,如何排序,还夹杂了很多业务规则上
的处理。
十、AB测试平台:
包含离线AB实验和线上的AB测试,每次做算法优化先通过离线AB评估一下,如果有效果再放到线
上AB。
十一、推荐后台管理模块:
包括推荐位的管理、zookeeper的管理、solr的管理、推荐效果评估页面等等。
十二、用户画像系统:
主要包括离线计算部分和可视化展示界面部分。目前主要是给网站运营人员使用。
十三、垃圾简历过滤系统:
项目主要目的是推荐和搜索中过滤垃圾简历,提高检索的简历质量。
另外就是针对垃圾简历做召回,邮件提醒完善等。
十四、hadoop/spark/storm平台运维调优:
hadoop2版本CD5的搭建、运维、扩展新机器、均衡数据和日常报错改进调优;Hbase搭建扩展机
器调优、sparkonyarn部署和运行时的参数调优。
十五、数据可视化tableau展示分析:
一是用来展示推荐效果指标比如点击率、展示应聘转化率、点击应聘转化率、应聘占比、满意率等业
务指标,二是对数据做一些分析帮助系统做决策。
整体上涉及到的技术点有:Hadoop2CDH5,Hive,Spark,Java、Scala、Shell、Hbase、flume、
Sqoop、zookeeper、协同过滤、逻辑回归、贝叶斯、SVM、决策树、GBDT、随机森林、Learning
torank的LambdaMART、CRF、图计算、KNN、Redis、solr、ES搜索、字符串编辑距离、LDA
主题词提取/Kmeans、Word2Vec, Presto、Spark SQL、Spark Streaming。

工作描述:
推荐系统架构师
担任整个推荐系统的架构设计,核心推荐算法研发,个性化搜索算法等,带领和指导推荐团队,提高
用户点击率,订单转化率,订单销售额占比。
一、基于搜索的推荐:
使用基于lucene的solr开源搜索引擎,IK分词,结合推荐算法,分析用户搜索行为,点击行为,购
买行为,进行用户的个性化推荐,AB测试跟踪效果,个性化搜索明显优于普通搜索,提高了订单转
化率,点击率,销售额占比。
二、基于协同过滤的商品推荐:
1.基于hadoop分布式平台,HDFS分布式文件系统,Hive数据仓库,使用java开发mapreduce分
布式程序来分析挖掘跨数据源,及同时结合用户浏览和购买行为做关系分析挖掘,如看过此商品的用
户最终购买等。
2.使用mahout数据挖掘,对用户点击,购买,加入购物车等行为进行分析,修改及优化mahout的
基于itemBased协同过滤算法,应用比如看了又看、买了又买等。
三、基于关联规则的商品推荐:
使用mahout频繁项集挖掘,分析在订单中经常一起出现的商品,进行关联销售。应用比如最佳组合
购买等。
四、图像识别--相似图片推荐
我们开发了基于lucene+lire的图像搜索引擎,通过用户上传图片或从其他网站复制图片地址,结合
关键词搜索筛选,帮助用户尽快找到自己想要的商品,并且增加了搜索过程的趣味性。这对传统的搜
索引擎是一个很好的补充。
五、实时推荐:
由于使用hadoop协同过滤、频繁项集挖掘只能做离线分析,目前是每天晚上算一次,用户当天的搜
索行为、用户点击行为、购买行为无法捕获到,再就是当天新上架商品存在冷启动问题,为了及时反
映当天的用户行为,我们开发了基于大数据流式的实时分布式平台storm的实时协同过滤算法,把算
法的计算延迟减低到秒级别,甚至毫秒级别。使用Hbase作为持久化存储,redis作为缓存,spouts
/bolts java开发。
六、个性化商品推荐:
建立用户喜好模型,结合协同过滤算法,基于用户的个性化商品推荐。如根据您的浏览记录为您推荐,
根据分类为您推荐,根据品牌为您推荐,您可能喜欢的促销商品,猜您喜欢等。
七、基于序列模式挖掘的商品推荐
基于序列模式挖掘的gsp算法和prefixspan算法的hadoop分布式实现,分析用户购买商品周期和
规律
八、关键词相关搜索推荐
按协同过滤的思想根据用户搜索的关键词来推荐一些相关的关键词,如相关搜索。
九、基于用户评论的文本挖掘、自然语言处理
从用户大量的评论中,提取主题词,建立文本的向量空间模型VSM,进行文本聚类。如“大家都在说”
十、wms仓储管理系统中库房商品拣货路径的优化
为了提高拣货的效率,使用遗传算法对商品的拣货路径进行优化,另外在每半小时生成批次和任务单
的时候,使用聚类思想把距离相近的商品分配到同一个任务单里。
十一、多个算法的加权组合策略
每种算法都有他的优点和缺点,通过加权多个算法,提高推荐的准确度。加权公式为Sr=
sum(1/(Oi+C)),Oi分别表示商品R在三个商品中的推荐次序,C为平衡因子

工作描述:
大数据推荐系统负责人
工作职责和业绩:
我是个性化推荐系统的负责人,并且此系统在2011年度获得公司的创新项目大奖,到目前为止由推
荐产生的订单占比大概在20%左右。使用了微软BI工具,使用集成服务SSIS做数据清洗、转换、
加载,使用分析服务SSAS的数据挖掘datamining分析用户购买行为、点击行为、用户搜索行为,
以基于lucene的solr搜索引擎结合协同过滤的推荐算法来做的个性化搜索。以及使用hadoop平台
的mahout做协同过滤。目前在网站的经典推荐算法应用有:
基于搜索的推荐:
1.个性化搜索为您挑选
2.类似于淘宝的相关搜索“你是不是想找“
3.搜索最终购买
4.基于分类+搜索的猜您喜欢
基于商品的推荐:
1.看过此商品的用户还看过
2.看过此商品的用户最终购买
3.购买此商品的用户还买了
4.购买此商品的用户还同时购买
5.根据用户浏览的个性化推荐
6.根据用户购买记录的推荐

工作描述:
架构师
工作职责和业绩:
1.北京联通TCS项目:开发中的奥运运维调度系统(以下简称TCS)是应北京联通需求,编制的通
信指挥调度系统。目前进行TCS第三个版本TCS3的设计开发工作,负责创建任务,查询任务,个
人门户,客户管理,设备管理,部门状态等的开发及工作计划和进度控制工作。
2.北京联通52周作业计划项目:负责研发北京联通日常维护作业的管理,此项目是工作流的管理。
核心模块包括作业计划大纲管理(开发了可以配置的工作流),年度模板管理,月执行表管理,以及
作业项目管理。和相关的部门、专业、角色的权限管理。
3.北京联通维护表格电子化项目:北京联通日常填写几百个excel表格的电子化项目,开发通用工具。
通过工具的管理平台即可自动实现增加表和字段以及对应的业务逻辑。这样大大提高了效率,同时在
需求变更时,如增加字段和新的表格不用再开发,只需要用此工具配置即可。
4.saas产品项目:这个是针对家电维修服务行业的BtoB电子商务网站。

工作描述:
负责需求分析、系统设计、开发测试、系统重构、技术支持和部分技术管理工作。现在微软负责MSIT
部门软件系统的开发及维护工作主要是三个项目:微软智能卡管理系统,微软账号管理系统,微软
offsite项目场地办公系统,在微软项目之前是在艺龙旅行网公司负责平台技术部门的需求分析,数据
库设计和编码工作,主要设计开发了两个项目一个是信用卡防诈骗,另一个是支付宝项目。

工作描述:
U9ERP整个项目300人左右,SCM部分70左右,SD20人,我所在出货组6人,本人主要负责出
货计划单、标准出货单、预出货单、计划出货单、订单出货单、签收单、对帐单,及整个SD的打印功
能等。