职位描述：
职位描述： 1、负责设计和开发分布式网络爬虫系统，进行数据抓取和分析； 2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 3、参与分布式爬虫和数据采集系统的架构设计和开发，快速响应业务变动； 4、负责网络数据抓取规划、定期爬取指定网站的数据； 5、参与数据层建设，专注于垂直领域数据爬取，进行多平台信息的抓取和分析； 6、实现数据提取、清洗、结构化、入库、统计分析等需求； 7、研究优化算法，提升爬虫系统的稳定性、可扩展性。 任职要求： 1、本科及以上学历，5年以上爬虫抓取采集相关工作经验，爬虫基础扎实； 2、熟练Python和常用的开源库，熟练使用Django/Flask等至少一种主流的web开发框架； 3、熟练Mysql，MongoDB， Redis，Es，队列等数据库的使用和优化； 4、对进程、线程、协程、异步、非阻塞有一定了解和使用； 5、熟练掌握爬虫主流框架Scrapy、Selenium、gocolly，webmagic等（深入了解其中一种）； 6、熟悉应用IP代理池、Headers认证和Cookie等； 7、熟悉分布式爬虫，JS防护、混淆、逆向分析等技能，熟悉各种浏览器检测/反检测手段； 8、熟悉Python/Java/Go/C++其中一种语言，具备扎实的编码能力； 9、责任心强、工作积极、良好的服务意识、较强的工作适应能力，自我驱动； 10、加分项：逆向、分布式、数据分析、数据挖掘；有训练过自己的模型；github或者码云有相关开源项目；有海量代理池搭建经验；有采集政府网址经验优先考虑； 举报