大数据工程师-智乐聘猎头做单平台

首页做单必看出海招聘必看关于智乐聘

简历详情

更新时间：2025-01-14

****

                                        大数据工程师                                    
                                

                                {{ direction }}
                            

                                33岁
                                /
                                男                                /
                                未婚                                /
                                本科                                /
                                12年经验
                            

                                电话：
                                13800138000

                                  
                                邮箱：
                                abcd@163.com

曾就职领域：互联网, 媒体, 软件开发

目前居住地：杭州市

期望工作地：杭州市

目前年薪：15.50万元

期望年薪： 18.00万元

教育经历

工作经历

项目经历

教育经历

在校时间

2010-09 至 2014-07

专业

信息管理和信息系统

就读学校

湖北汽车工业大学本科

工作经历

任职时间

                                    2020-01-01 至 2025-01-01
                                
                                    职位名称职位名称
                                
任职公司

                                    任职公司任职公司
                                
任职描述

                                    任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任;

                                    职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职;

                                    描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述任职描述。

工作经历

任职时间

                                            2020-01-01 至 2025-01-01
                                        
                                            Java开发工程师                                        
任职公司

                                            任职公司任职公司
                                        
任职描述

                                            工作描述: 基本上属于带着外包和1到2个本公司员工进行项目开发,做了比较多的项目吧,内容媒资管理平台,接口机,抢片,爬虫等等,包括elk,大数据等组件也进行了应用,比方说抢片,首先对邮箱进行爬取,每2秒通过pop3协议进行扫面,扫面到需要抢的片子信息后,通过自己观察优酷js和加密算法,抓取优酷独播视频和vip视频,对分片进行下载后使用ffmpeg进行合并,合成1080p的mp4清流,然后生产消息到kafka消息队列,抢片程序从消息队列中消费此信息,然后采用aria2进行多线程下载,下载后注入局方系统,完成整个抢片流程,,后面和别人一起开发了云导播和智慧酒店等项目,涉及到php,docker,go语言等多种语言开发,等等还有图片压缩等很多的项目,另外类似管理平台这种增删改查和缓存的web项目就不一一描述了

任职时间

                                            2020-01-01 至 2025-01-01
                                        
                                            大数据开发工程师                                        
任职公司

                                            任职公司任职公司
                                        
任职描述

                                            工作描述: 刚进入公司的时候做的是一些爬虫的工作,使用python对百度视频演员,导演,多个播放源进行爬取和增量爬取,入库以及推送,以及视频埋点打印日志后对日志进行分析,通过flume对多个日志进行分析后写入hdfs,记录点击次数,下载次数,点击源等等的数据统计及展示,后参与公司数据总线项目,使用canal实时监控数据库binlog以对数据库增,删,改进行监控,将数据库更改信息传入kafka消息队列,然后从消息队列中取出更改信息进行推荐算法计算,将计算结果写入hbase中实现视频推荐,然后参加公司报表以及年报数据开发和推送,使用springboot作为基础框架,将数据存入hdfs中并且使用hive进行hdfs操作,经过这一年的工作,对canal,kafka,flume,hadoop,sqoop等大数据组件有了一定了解,熟悉了gradle等项目管理工具,对mysql触发器,存储过程以及数据库性能调优有一定的了解

任职时间

                                            2020-01-01 至 2025-01-01
                                        
                                            软件工程师                                        
任职公司

                                            任职公司任职公司
                                        
任职描述

                                            工作描述: 主要从事网络爬虫工作，从爬虫脚本到爬虫整个授权到抓取到推送，主要做了三个项目，支付宝中公积金信息抓取工作，三大运营商的信息抓取工作以及多源化采集和灰度工作，邮箱账单以及学信网的抓取工作，熟悉各种cookie登录，js加密以及js，熟悉jsoup，xpath等解析工具，熟悉二次验证，短信验证，图片验证等，页面动态参数获取等等，熟悉charles，Fiddler等抓包工具，了解ssl以及https请求等等，熟悉网络爬虫深度以及广度采集，从事了快两年的爬虫工作，对爬虫有比较多的了解。

任职时间

                                            2020-01-01 至 2025-01-01
                                        
                                            系统分析员                                        
任职公司

                                            任职公司任职公司
                                        
任职描述

                                            工作描述: 主要从事太平人寿人事系统的开发和维护工作，熟悉ssm框架以及sql语句，熟悉一些前端css框架，了解js语音，熟悉增删改查，spring ioc，aop以及事物管理等技术