Scrapy环境

在本章中，我们将讨论如何安装和设置Scrapy。Scrapy必须与Python一起安装。

Scrapy可以通过使用 pip 来安装。要安装，请运行以下命令：

pip install Scrapy

视窗

注意 - Windows 3不支持Python 3。

第1步 - 从 Python 安装Python 2.7通过将以下路径添加到PATH来设置环境变量：

C:\Python27\;C:\Python27\Scripts\;

您可以使用以下命令检查Python版本：

python --version

第2步 - 安装 OpenSSL。

在您的环境变量中添加C:\OpenSSL-Win32\bin。

注 - OpenSSL预装在Windows以外的所有操作系统中。

第3步 - 安装 Visual C ++ 2008许可再发行组件。

第4步 - 安装 pywin32。

第5步 - 为Python版本2.7.9以前的版本安装pip。

您可以使用以下命令检查pip版本：

pip --version

第6步 - 要安装scrapy，请运行以下命令：

pip install Scrapy

Python

如果您的计算机上安装了anaconda 或 miniconda，请运行以下命令以使用conda安装Scrapy

conda install -c scrapinghub scrapy

Scrapinghub 公司支持适用于Linux，Windows和OS X的官方conda软件包。

注 - 如果您通过pip安装时遇到问题，建议使用上述命令安装Scrapy。

Ubuntu 9.10或更高版本

最新版本的Python已预先安装在Ubuntu OS上。使用Scrapinghub提供的Ubuntu软件包aptgettable。要使用包：

第1步 - 您需要将用于签署Scrapy软件包的GPG密钥导入APT密钥环：

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

第2步 - 接下来，使用以下命令创建/etc/apt/sources.list.d/scrapy.list文件：

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list

第3步 - 更新软件包列表并安装scrapy：

sudo apt-get update && sudo apt-get install scrapy

Archlinux

您可以使用以下命令从AUR Scrapy软件包安装Scrapy：

yaourt -S scrapy

Mac OS X

使用以下命令安装Xcode命令行工具：

xcode-select --install

不要使用系统Python，而应安装与系统其余部分不冲突的新更新版本。

第1步 - 安装 Brew。

第2步 - 设置环境PATH变量以指定应该在系统包之前使用自制软件包：

echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

第3步 - 要确保更改完成，请 使用以下命令重新加载 .bashrc：

source ~/.bashrc

第4步 - 接下来，使用以下命令安装Python：

brew install python

第5步 - 使用以下命令安装Scrapy：

pip install Scrapy

Scrapy蜘蛛：Spider是一个负责定义如何遵循链接通过网站并从网页中提取信息的类。Scrapy的默认蜘蛛如下：scrapy.Spider它是蜘蛛必须从其中继承的蜘蛛。它有以下类：class scrapy.spiders.Spider下 ...