Loading...
debug 可以快速定位需要判断的代码位置，在开发调试的时候也是必备的功能。但是 scrapy 默认是用命令行启动爬虫 scrapy crawl spid...
用scrapy发送POST肯定没问题（重写start_requests方法即可），但scrapy-redis不同，scrapy-redis框架只会从配置...
有的情况下，我们并不想 scrapy-redis 在空闲的时候阻塞，我们希望他自行结束掉。新建 EXTENSIONS 配置在 settings.py 文件...
其实在官方文档中，都有明确的事例和说明，这里只记录下工作中常用的一些配置，以便快速查找配置方式该文章在后续工作中不断更新在 setting.py 文件中配...