Scrapy Web服务
运行的Scrapy网络爬虫可以通过 JSON-RPC 进行控制。它由JSONRPC_ENABLED设置启用。该服务通过 JSON-RPC 2.0 协议提供对主要爬虫对象的访问。访问爬虫对象的端点是:
http://localhost:6080/crawler
下表包含一些显示Web服务行为的设置:
Sr.No | 设置和说明 | 默认值 |
---|---|---|
1 | JSONRPC_ENABLED 这指的是决定Web服务及其扩展的布尔值是否被启用。 | True |
2 | JSONRPC_LOGFILE 这是指用于记录向Web服务发出的HTTP请求的文件。如果没有设置标准Scrapy日志将被使用。 | None |
3 | JSONRPC_PORT 这指的是Web服务的端口范围。如果它设置为none,那么端口将被动态分配。 | [6080,7030] |
4 | JSONRPC_HOST 这指的是Web服务应该监听的接口。 | '127.0.0.1' |