标签：Pipeline process self yield item scrapy crawler

scrapy的Pipeline类不可使用yield

业务需求在scarpy的pipeline中处理过数据后再生成新的Request。但如果直接再Pipeline类的process_item方法中yield Request，会导致爬虫执行直接跳过该Pipeline，连个报错都看不到。

排查发现是yield使该函数的调用的返回值成为生成器，而不是相关返回值。

如何在Pipeline中生成新请求

1.参照MediaPipeline。

之所以我会先入为主地认为可以在Pipeline中直接yield出新Request，是因为之前使用过官方自带的MediaPipeline，改写其get_media_requests的方法，并可最终yield出新Request。

则仿照MediaPipeline的process_item完成业务逻辑即可。

MediaPipeline的process_item的主要逻辑如下

    def process_item(self, item, spider):
        info = self.spiderinfo
        requests = arg_to_iter(self.get_media_requests(item, info))
        dlist = [self._process_request(r, info) for r in requests]
        dfd = DeferredList(dlist, consumeErrors=1)
        return dfd.addCallback(self.item_completed, item, info)

可看出是调用了twisted的DeferredList来分发请求。

2.显式调用crawler.engine.crawl()

该方法参考scrapy在pipeline中重新生成request

显式调用crawler.engine.crawl()，将新的request发送至执行引擎。

class MyPipeline(object):

    def __init__(self, crawler):
        self.crawler = crawler

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler)

    def process_item(self, item, spider):
        ...
        self.crawler.engine.crawl(
                    Request(
                        url='someurl',
                        callback=self.custom_callback,
                    ),
                    spider,
                )

    # YES, you can define a method callback inside the same pipeline
    def custom_callback(self, response):
        ...
        yield item

标签：Pipeline,process,self,yield,item,scrapy,crawler
来源： https://www.cnblogs.com/lymmurrain/p/15835461.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。