网络爬虫的反扒策略介绍
1、设置好header信息，不仅仅是UserAgent、Referer这两个，也有很多其它的header值。
2、处理好Cookie。
3、使用爬虫代理加强版代理IP。
4、倘若通过header和cookie还不能爬到数据，那么能够考虑模拟浏览器采集，常见的技术是PhantomJS。
5、使用了爬虫代理加强版采集数据返回200不过没返回数据，表明爬虫被反爬了，加强爬虫优化策略。
鉴于每个网站反扒策略不一样，因此需要实际问题具体分析。不过有一些基本的操作还是要加强的。
利用多IP爬虫，借助多个IP爬虫后，就可以处理频繁的问题了，具体的形式有以下几种：1、如果使用的是局域网，并且有路由器，能够通过重启路由的方式来换IP。2、通过ADSL拨号，每当重新拨号的时候，IP便会变成 ...