爬虫使用ip池如何防范

1、伪造User-Agent。将User-Agent设置为浏览器中的User-Agent,以伪造浏览器访问。

headers = {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}
resp = requests.get(url,headers = headers)

2、使用代理,在ip代理池中可以使用多个代理IP进行访问,以防止同一IP因过度请求而被封存。

proxies = {'http':'http://10.10.10.10:8765','https':'https://10.10.10.10:8765'}
resp = requests.get(url,proxies = proxies)

python子类如何重用父类功能:1、根据名称直接调用某一类下的函数,而非依赖于继承关系。2、调用父类提的方法,即严格依赖继承关系。调用super会得到特殊的对象,这个对象会参考发起属性搜索的类的mro,在当前类的父类中找到属性。实例cla ...