主要工作:负责抖音/Tiktok的评论安全风险控制。
• 工作重点:
a. 负责bert,xlm-roberta等transformer模型的预训练,以及相关下游任务的finetune,目前主
要业务包含对文本内容做情感分析,线上风险召回。
b. 开发多模态模型,在文本的基础上加入视频抽帧、ocr、title等信息作为输入,使得模型对问题
上下文信息敏感。
c. 参与gpt大模型的fintune和下游任务prompt的编写,在开源大模型alpaca基础上用本地语料
finetune,接下游分类任务后效果上基本可用。继续在安全场景探索下游生成式任务的应用场
景。
d. 利用量化技术提高模型服务的serving效率。通过做多轮预训练和蒸馏技术,提升模型信息量。
利用autodis,rdrop等技术改进loss,提升模型指标。
e. 搭建nlp模型的自动化训练和上线流程。该方案长期看对模型效果有持续提升,并能应对线上的
PR、黑产风险。
f. 搭建合理的评估流程,指导模型向正确的方向迭代。使用activelearning技术,搭建自动送标
流程,减少标注人力,同时改善标注质量。
g. 了解blip2的预训练任务,尝试用blip2+llm的框架改善多模态模型的效果。