职位详情

岗位职责：
1、参与公司数据采集与分析项目工作；
2、参与数据采集与分析代码编写、单元测试和bug修复工作；
3、根据产品和项目情况，优化及维护代码；
4、根据产品开发规范，完成相关技术文档编写。
任职要求：
1、大学本科及以上学历，计算机或相关专业；
2、2-5年的爬虫项目经验；
3、参与爬虫项目的构架设计、研发、编程工作、改进和提升爬虫效率；
4、设计爬虫策略和防屏蔽规则、提升网页抓取和效率和质量；
5、负责后台爬虫数据的分布式储存设计及代码实现；
6、负责网页采集任务的分析及采集方案设计；
7、负责分布式爬虫策略持续优化。