Scrapy 框架的 Shell 工具使用

今天我们来介绍和实战 Scrapy 框架的命令行模式，它和 Django 框架的 shell 模式一样，用于我们前期调试工程代码，非常方便，掌握好 Scrapy 的 shell 模式会使得我们开发爬虫更为顺畅。

1. Scrapy Shell 介绍

Scrapy Shell 是一个交互终端，类似于 Python 交互式模式，它使我们可以在未启动 Scrapy 爬虫的情况下调试爬虫代码。

在 Scrapy 的交互模式下，我们可以直接获取网页的 Response 结果，然后使用 XPath 或 CSS 表达式来获取网页元素，并以此测试我们获取网页数据的 Xpath 或者 CSS 表达式，确保后续执行时能正确得到数据。我们来看看如何进入 shell 模式，参考如下的视频：