工作职责和业绩:
1.、 负责头戴虚拟VR产品的跟踪,策划,研发等,主要产品包括头戴VR产品,此款产品系与乐视合作。
2、 在上述头戴上后期又集合了多摄像头图像拼接融合功能,以及利用opencv图开发了像的手势识别功能。
3、合作的VR有PSvr和Oculus rift,在这些VR的研发过程中涉及到了图像的压缩。以及mipi接口的使用和转化,wirelesshd协议高清视频的传输等,图像的畸变和较真等。
4、与乐视合作开发了一款VR一体机,主芯片是xilinx的Z7020系列,利用到了scaler和osd等IP,以及视频的3d话处理,视频的较真和畸变等。
5、在VR的定位方面,以及机器视觉方面有比较深入的了解。
二、项目分别简介:
1、乐视头盔项目:
1)、乐视头盔项目简介:
乐视头盔项目是歌尔的一个ODM项目,主要用途是头盔可以通过TYPEc接口连接乐视手机,对乐视手机的影视频内容可以2D或者3D播放。乐视头盔可以接收处理1080P60HZ,1080P30HZ和720P60HZ的视频,在FPGA内部会进行scaler缩放和OSD画面字母添加,以及2D和3D转换,最终把手机的内容反映到头盔上进行播放。
乐视头盔用到的器件型号:
2)、xilinx Z7系列芯片、silicon9293、TC358768、sharp屏和ddr3等
3)、主要遇到的问题:手机信号的打电话干扰问题、屏幕出现黑幕的问题、A9核的scaler配置顺序问题和ddr3的带宽优化问题等。
2、kopin项目:
1)、kopin项目的简介:
kopin项目是美国kopin公司联合歌尔公司推出一款小屏的PCVR,这款VR的目的是为了kopin公司在展会上推介他们的小型化的一款屏,这个项目主要是PC机把显示的视频内容处理完成后,通过Displayport接口连接到FPGA,在FPGA内部做处理,通过24line的LVDS信号推到屏上进行内容的显示。
2)、kopin项目用到的器件型号:altera arria10系列的FPGA芯片、MCU STM32F、Audio codec CM118B、USB HUB和6DoF Camera Tracking System
3)、主要遇到的问题:DP1.3的调试问题、FPGA芯片和MCU配合对屏的配合参数问题
3、微软项目:
1)、微软项目的简介:
微软项目也是一款PCVR,是为了结合XBOX的游戏而推出的一款VR,XBOX的视频分两路,一路给VR,另一路给电视显示器分别进行显示,视频分辨率为2K90Hz,可以结合外部的传感器进行动作模拟,同时还会退出无线传输的系列,采用的协议是WiGig。
2)、微软项目用到的器件型号:Lattice的FPGA、OV camara、USB hub、CX3、IMU、magnetmeter和USB audio codec等。
4、迪斯尼AR项目主要是disney把游乐场所的视频传输到AR上进行实现,用到了altera的Cclyne 4系列的芯片,在FPGA内部对视频进行了处理,最后在屏幕上进行显示,此项目正在评估阶段。