技术要点:
精通Flink:掌握架构及任务提交原理,熟练Watermark、状态、窗口等原理及使用。擅长反压、大状态及数据倾斜等问题的解决及调优。
熟练掌握Kafka:熟悉架构及原理,熟悉数据一致性、吞吐调整、数据积压等问题的解决及调优。
熟练Hadoop:熟悉架构及流程原理,包括HDFS、Yarn、Shuffle等。了解HDFS小文件处理、熟悉Shuffle等问题解决及调优
熟练Hive:熟悉架构,熟悉各类系统函数,了解自定义函数,熟悉Hive各类调优,数据倾斜等问题的解决
熟练Hbase:熟悉架构、读写流程,熟悉刷写、切分、合并等策略及原理,了解热点问题的处理解决。
熟练ClickHouse:熟悉ClickHouse优势及各类引擎,掌握ClickHouse的数据一致性处理,熟悉ClickHouse的优化
熟悉Flume:了解架构及原理,熟悉组件的选型,熟悉拦截器的自定义,了解数据一致性等调优
熟悉DataX:熟悉DataX的特点,了解资源的调整,熟悉空值问题、分隔符问题的解决
熟悉MaxWell:熟悉Maxwell的特点,了解使用的原理,熟悉数据一致性问题的解决。
熟悉Linux:熟悉Linux常用命令,编写简单的Shell脚本。
熟悉Hudi: 熟悉Hudi的特点,熟悉Hudi的表类型,熟悉数据读取的方式。
熟悉Java:了解JavaSE基础内容,熟悉Java编程,面向对象编程