职责描述:
做互联网教育图像识别方面技术工作,包括
1、证件照头像审核系统,通过图像检测人脸识别技术,检测照片中人脸位置,判别头像高低,左右边界,
坐姿倾斜,蓝色背景,照片大小等是否合规,采用深度学习人脸识别技术进行图像识别。
2、活体检测,学生登录系统需要进行活体验证,通过前端传回照片,判断照片中人像是否为活体。服务采
用人脸识别技术,计算68个特征点中眼睛和嘴巴的纵横比,判别不同照片中人像是否为活体。
3、证件照抠图换背景。目前个别人拍摄证件照背景不符合要求,需要经过处理才能通过报名审核,因此开
发系统自动完成图像处理工作。系统通过图像识别技术判别人像及背景色,如果背景不为蓝色底,整体更
换蓝底,采用portrait模型生成trimap图像,在根据bayes-matting技术做成alpha图,更换蓝色背
景,实现自动抠图更换背景。
4、专注度识别。根据视频图像,计算图像中人的专注度指数及情绪,专注度从0-100,情绪包括高兴,
害怕,厌烦,生气等心情。服务根据人脸识别的情感识别技术,采用深度学习或传统算法方式,判别人脸
的专注程度。
5、基于知识图谱的智能问答系统服务,研发基于知识图谱的医疗方向智能问答系统,该系统能够根据输入
的疾病,药品,症状等关键词,自动查找相应的信息,完成问答过程。该系统数据集采用知识图谱普遍应
用的三元组形式,用sparql进行查询,方便灵活。
6、智能考场人体关键点检测,智能考场用摄像头进行监控,根据实时视频图像,计算图像中人体18个关
键点,观察人体肢体动作,判断是否有考场作弊情况,同时,统计考场人数,判断预计于实际是否相符。
7、智能考场图像质量判定,根据实时视频图像,计算图像质量,包括模糊程度,逆光程度,给出整体图像
质量分数。
8、人脸1:1服务,学生入学测试和考试登录,需要比对上传照片与留底照片,判断是否同一个人。算法
检索两张图像中人脸,提取128维特征,计算距离,根据阈值判定是否本人。
9、防视频攻击活体检测,学生考试登录平台,出现手机提前录制视频登录,仅靠人脸比对分辨不出,需要
判定是否视频攻击。服务采用mobilenet模型提取图像特征,再将特征用xgboost进行二分类,判定是
否视频攻击,准确率94.03%。
10、水印照片识别,个别摄像头采集照片有水印,需要识别。算法采用模板匹配方式进行识别,准确率
93.9%。
11、眨眼活体检测,服务采用深度学习方式,训练睁眼和闭眼照片各2000张,生成判别模型,准确率
96%。
12、证书扫描图像ocr识别,自研算法识别学生证书扫描件图像中文字,并提取关键字姓名,专业,院校。
13、公式识别,调研算法识别图像中公式,提取字符,生成latex格式。
14、周报信息提取,提取各院校周报信息,包括困难问题、政策建议,汇总各院校的主要信息的关键点,
提取关键短语人工归纳,汇总上报。
15、文章自动生成,根据营销部门提出需求,基于关键词自动生成广告文章。算法生成相关推荐的文章,
用于产品宣传。
工作业绩及成果:
目前头像审核,人脸1:1,动作类活体检测(张嘴,眨眼),静默活体检测,图像水印识别,专注度识别,
智能问答系统都已做成服务上线,周报信息提取功能完成,抠图换背景技术研发完成,证书ocr识别,公
式识别,文章自动生成算法正在研发。