职位详情

职位描述：
1、负责设计和开发分布式网络爬虫系统，进行数据抓取和分析；
2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；
3、参与分布式爬虫和数据采集系统的架构设计和开发，快速响应业务变动；
4、负责网络数据抓取规划、定期爬取指定网站的数据；
5、参与数据层建设，专注于垂直领域数据爬取，进行多平台信息的抓取和分析；
6、实现数据提取、清洗、结构化、入库、统计分析等需求；
7、研究优化算法，提升爬虫系统的稳定性、可扩展性。
任职要求：
1、本科及以上学历，5年以上爬虫抓取采集相关工作经验，爬虫基础扎实；
2、熟练Python和常用的开源库，熟练使用Django/Flask等至少一种主流的web开发框架；
3、熟练Mysql，MongoDB， Redis，Es，队列等数据库的使用和优化；
4、对进程、线程、协程、异步、非阻塞有一定了解和使用；
5、熟练掌握爬虫主流框架Scrapy、Selenium、gocolly，webmagic等（深入了解其中一种）；
6、熟悉应用IP代理池、Headers认证和Cookie等；
7、熟悉分布式爬虫，JS防护、混淆、逆向分析等技能，熟悉各种浏览器检测/反检测手段；
8、熟悉Python/Java/Go/C++其中一种语言，具备扎实的编码能力；
9、责任心强、工作积极、良好的服务意识、较强的工作适应能力，自我驱动；
10、加分项：逆向、分布式、数据分析、数据挖掘；有训练过自己的模型；github或者码云有相关开源项目；有海量代理池搭建经验；有采集政府网址经验优先考虑；