Scrapy Spider

爬虫 Spider 是一个定义如何抓取某个网站的类，包括如何执行抓取以及如何从其网页中提取结构化数据。换句话说，Spider是您定义用于为特定网站抓取和解析网页的自定义行为的位置。

1. Spider 工作流程

对于一个爬虫 Spider，工作流程如下：

• 首先，生成用于抓取第一个 URL 的初始请求，然后指定处理响应的回调函数。第一个执行的请求，通过调用 start_requests() 方法生成，在里面指定 URL和解析函数。
• 其次，在回调函数中，通常使用选择器来解析响应的网页内容，并返回提取的数据，保存在 Item 对象。
• 最后，从爬虫返回的 Item 对象存储到数据库或者文件中。

整个流程循环执行，这个循环适用于任何种类的爬虫。

2. scrapy.spiders.Spider 类

scrapy.spiders.Spider 是最简单的爬虫，每个其他爬虫必须继承的爬虫基类。scrapy.spiders.Spider 不提供任何特殊功能，只是提供了一个默认start_requests()实现，并使用 parse 处理每个响应结果。以下是 scrapy.spiders.Spider 的一些常用的属性。

1）name

定义此爬虫名称的字符串。爬虫名称必须唯一。它是最重要的爬虫属性，是必需的。

2）allowed_domains

允许爬虫抓取域的列表，不在列表中的域不会被抓取。

3）start_urls

当爬虫起始抓取的网址列表。

4）settings

运行此爬虫的配置。这是一个 Settings实例。

5）custom_settings

运行此爬虫时的项目自定义配置。

6）start_requests（）

此方法必须返回一个可迭代的第一个请求。有了start_requests()，就不需要写 start_urls，写了也没有用。

2. Spider 范例

例如，抓取多个 URL：

import scrapy

class MySpider(scrapy.Spider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = [
        'http://www.example.com/1.html',
        'http://www.example.com/2.html',
        'http://www.example.com/3.html',
    ]

    def parse(self, response):
        self.logger.info('A response from %s just arrived!', response.url)

例如，从回调中再次产生多个抓取请求：

import scrapy

class MySpider(scrapy.Spider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = [
        'http://www.example.com/1.html',
        'http://www.example.com/2.html',
        'http://www.example.com/3.html',
    ]

    def parse(self, response):
        for h3 in response.xpath('//h3').extract():
            yield {"title": h3}

        for url in response.xpath('//a/@href').extract():
            yield scrapy.Request(url, callback=self.parse)

你可以直接使用 start_requests()，而不是 start_urls：

import scrapy
from myproject.items import MyItem

class MySpider(scrapy.Spider):
    name = 'example.com'
    allowed_domains = ['example.com']

    def start_requests(self):
        yield scrapy.Request('http://www.example.com/1.html', self.parse)
        yield scrapy.Request('http://www.example.com/2.html', self.parse)
        yield scrapy.Request('http://www.example.com/3.html', self.parse)

    def parse(self, response):
        for h3 in response.xpath('//h3').extract():
            yield MyItem(title=h3)

        for url in response.xpath('//a/@href').extract():
            yield scrapy.Request(url, callback=self.parse)

3. Spider 参数

爬虫可以接收修改其行为的参数。爬虫参数常见用法是定义起始 URL 或某些限制。

Spider crawl 命令中可以使用该 -a 选项传递参数。例如：

scrapy crawl myspider -a category=electronics

爬虫可以在他们的init方法中访问参数：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'

    def __init__(self, category=None, *args, **kwargs):
        super(MySpider, self).__init__(*args, **kwargs)
        self.start_urls = ['http://www.example.com/categories/%s' % category]
        # ...

默认的init方法将获取任何爬虫参数，并将它们作为属性复制到爬虫。上面的例子也可以写成如下：：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'

    def start_requests(self):
        yield scrapy.Request('http://www.example.com/categories/%s' % self.category)

请记住，spider参数只是字符串。爬虫不会自己做任何解析。

爬虫 Spider 定义用于抓取网站和解析网页的类，我们一般使用通用爬虫 scrapy.spiders.Spider。Scrapy 还提供了一些有用的特定的爬虫 Spider，我们可以使用它们作为基类。这些特定爬虫是为一些常见的抓取案例提供方便的功能，例如根据某些规则查看网站上的所有链接，从站点地图抓取 或 解析XML/CSV Feed。