工作职责:
1、负责数据采集、梳理和各种业务数据的ETL任务;
2、配合项目经理完成各项实施工作任务及其他项目事宜;
3、负责项目的现场需求调研、分析、确认工作;
4、持续改进优化ETL、分析处理、数据呈现等流程,协调海量数据压力问题。
任职资格:
1、三年及以上大数据相关工作经验,熟悉离线以及实时数仓模型设计与ETL开发,掌握维度建模设计方法;
2、具有大数据离线、实时场景设计和实现能力;
3、熟练应用SparkSql,FlinkSql,HiveSql等Sql类语言进行数据开发;
4、熟练使用大数据相关工具,并对大数据相关工具底层原理有深入了解,Spark,Flink,Iceberg,ES,Kafka,Redis等;
5、熟悉Java或Scala编程语言,能够使用该语言进行Spark或Flink基础数据处理应用开发;
6、有良好的问题排查和解决能力,有性能调优经验者优先;
7、思路清晰,对数据敏感,有良好的理解和沟通表达能力以及跨团队协作能力。