职位详情

岗位职责
1.协助项目经理/独立完成项目开发
2.负责公司数据产品的数据采集，清洗，加工及统计分析，以及数据处理功能的开发，编写相关文档
3.参与数据映射数据质量分析数据差异分析
4.负责公司数据产品功能开发；
5. 完成上级临时交付的工作任务
专业技能要求:
1.2年以上数据仓库项目实施经验，独立完成数据处理开发工作，负责过一个完整项目；
2.熟练使用Flink开发实时计算任务，具备基于DolphinScheduler搭建复杂工作流调度系统的实战经验；
3.熟悉ETL开发，熟悉Apache Hudi数据湖架构设计与优化；
4.熟练使用数据采集和接收工具，熟练使用flume+kafka优先；
5.熟悉Hadoop生态圈技术，具有源码阅读及二次开发工作经验；
6.熟练使用SQL，熟悉数据库原理，熟悉mysql；
7.熟悉Linux操作系统，熟练使用常用命令，熟练使用shell脚本；
8.熟练使用高性能缓存工具，熟练使用redis优先；
9.具有清晰的系统思维逻辑，对解决行业实际问题有浓厚兴趣，良好的沟通协调能力及学习能力。