python 如何利用user-agent反爬虫
说明
1、是识别浏览器的一串字符串，相当于浏览器的身份证。
2、在利用爬虫爬取网站数据时，频繁更换User-agent可以避免触发相应的反爬机制。
安装
需要就用到了fake-useragent包，直接在anaconda控制台安装fake-useragent包即可；
实例
form fake-useragent import UserAgent
ua = UserAgent()
headers = {
'User-Agent' : ua.random #随机生成一个UserAgent
}
url = 'https://www.baidu.com/'
page = requests.get(url, headers=headers)
说明由于原本爬虫可能会对对方网站造成访问负荷压力。1、这种预防措施不仅能在一定程度上防止被封，而且能减轻网站的访问压力。假如访问太频繁，一些网站会直接关闭IP，让你再也不能访问它的数据。 ...