标签：pipelines redis 爬虫 scrapy key 集合

1. 将爬虫的类从scrapy.Spider变成scrapy_redis.spiders.RedisSpider;或者是从scrapy.CrawlSpider变成scrapy_redis.spider.RedisCrawlSpider。

2. 将爬虫中的start_urls删掉，增加一个redis_key=”xxx”,这个redis_key是为了以后再redis中控制爬虫启动的。爬虫的第一个url,就是在redis中通过这个类属性发送出去的。

3. 在配置文件中增加如下配置：

# 确保带爬取的request对象存储到redis数据库中 爬虫名:requests# 将单词全部进行大小写转换的快捷键：ctrl+shift+uSCHEDULER="scrapy_redis.scheduler.Scheduler"# 确保所有的爬虫共享相同的去重指纹 爬虫名：dupefilter，类型为set集合

DUPEFILTER_CLASS="scrapy_redis.dupefilter.RFPDupeFilter"# 爬虫名：requests 存放所有待爬取的request的集合,类型为zset集合

# Configure item pipelines# See https://docs.scrapy.org/en/latest/topics/item-pipeline.htmlITEM_PIPELINES = {   # 'fang.pipelines.FangPipeline': 300,    # 将爬虫爬取的数据存储到redis数据库中,key为: 爬虫名:items,类型为list集合

   'scrapy_redis.pipelines.RedisPipeline': 543,}# 在redis中保存scrapy-redis用到的队列，不会清除redis中的队列，从而可以实现暂停和恢复功能SCHEDULER_PERSIST=True# 设置连接redis的信息REDIS_HOST="172.16.46.48"REDIS_PORT=6379

标签：pipelines,redis,爬虫,scrapy,key,集合
来源： https://www.cnblogs.com/enjiu/p/14220745.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。