职位要求
1.参与公司内部地图平台地理信息基础数据建设
2.参与攻克APP、WEB、H5应用并采集相关数据,持续优化采集策略
3.结合实际业务需求,对目标数据进行重要信息提取、清洗、优化
4.持续改进数据采集框架,提升编码质量、采集效率、数据质量
5.参与数据分析工作,多维度多角度输出数据分析报告
6.监控管理爬虫任务的执行状态,及时处理数据异常,保障采集过程的稳定性
1.大学本科及以上学历,计算机软件或数学相关专业
2.熟悉TCP/IP、HTTP、HTTPS网络协议,了解IP代理技术
3.熟悉python编程语言,了解常用数据分析库,如geopandas,numpy,gdal
4.了解任务调度、消息队列技术,如celery,rabbitmq
5.了解HTML,javascript语言。了解代码混淆,防护,逆向相关知识
6.具有数据库相关经验,如postgresql、mysql
7.具有良好的沟通能力和团队协作能力,对工作有较强的责任心
8.热爱技术,对前沿技术有强烈的好奇心,具有持续学习的心态