职位详情

岗位职责：

1、 三年以上Python网络爬虫开发经验，熟悉python java JavaScript等编程语言；

2、负责公司有关网络抓取方面的工作，处理网络数据抓取规划、汇总，具备搭建数据采集平台，建立爬虫系统，对数据的抓取、解析、调度、存储、维护等开发工作；

3、爬虫核心算法和策略优化,熟悉采集系统的调度策略，分析爬虫系统瓶颈设计实现相应策略和算法，提升爬虫的抓取效率和质量；

4、负责服务器的网络设置、维护和优化、安全监控、设备系统性能管理和优化、网络性能管理和优化保障服务器与数据库安全等。


任职要求：

1、熟悉熟悉 Python generator, lucence ， scrapy，pyspider，S