职位要求
岗位职责:
1、负责数据仓库的创建和管理,创建ETL平台,负责将原始数据转换到数据仓库中,原始数据来源包括公司自有的用户数据,在社交社区中收集的文本数据,合作伙伴提供的相关数据;
2、主持网上数据的爬取业务;主持数据爬取平台的设计,实施及管理;
3、参与同合作伙伴以及其它数据提供商之间的交流,负责对第三方所提供数据接入方面接口方面进行技术和工程方面的评估和同公司现有系统的接入;
4、负责同业务部门沟通,设计及扩展数据仓库功能及数据爬取深度和广度;
5、积极地采用开源工具和技术提升数据库及ETL的效能。
任职要求:
1、计算机科学专业本科/硕士;
2、至少3年数据库,数据挖掘或数据仓库方面的实际工作经验;
3、精通或熟悉关系数据库及至少一种No-SQL数据库、 精通或熟悉数据仓库理论及相关管理相关工具和技术;
4、了解新的ETL理念,熟悉ETL技术,特别是开源ETL平台(如DataX)及有开发分布式ETL平台的经验者优先考虑;
5、能够接受及适应在快节奏,测试驱动,持续迭代的工作环境。