标签：

在Spider框架中，最后执行的方法是closed(self, reason)。这是一个可选的方法，当Spider关闭时调用。reason参数是一个字符串，表示Spider关闭的原因。

你可以在Spider类中重写这个方法，以便在Spider关闭时执行自定义的逻辑。例如，你可以在关闭Spider之前保存数据、关闭数据库连接或执行一些清理操作。以下是一个简单的示例：

import scrapy

class MySpider(scrapy.Spider):
    name = 'example'

    # 省略其他方法...

    def closed(self, reason):
        # 在Spider关闭时执行一些逻辑
        if reason == 'finished':
            self.log('Spider已成功完成')
        elif reason == 'cancelled':
            self.log('Spider已被取消')
        else:
            self.log(f'Spider已关闭，原因是：{reason}')

请注意，关闭Spider的原因可以是"finished"（成功完成）、"cancelled"（被取消）或其他自定义的原因。你可以根据不同的原因执行不同的操作。
 

在Scrapy框架中，你可以使用response.xpath()方法来执行XPath查询。这个方法返回一个SelectorList对象，其中包含所有匹配的元素。

要提取匹配元素的文本内容，你可以使用extract()方法。这个方法返回一个包含所有文本内容的列表。

以下是一个示例：

import scrapy

class MySpider(scrapy.Spider):
    name = 'example'

    start_urls = ['http://example.com']

    def parse(self, response):
        # 使用XPath表达式提取匹配元素的文本内容
        titles = response.xpath('//h1/text()').extract()
        paragraphs = response.xpath('//p/text()').extract()

        # 打印提取到的文本内容
        for title in titles:
            self.log(f'Title: {title}')
        
        for paragraph in paragraphs:
            self.log(f'Paragraph: {paragraph}')

在上面的示例中，我们使用了两个XPath表达式 //h1/text() 和 //p/text() 来获取 <h1> 和 <p> 元素的文本内容。extract()方法返回一个包含所有匹配元素的文本内容的列表，我们可以通过循环打印出这些文本内容。

请注意，XPath的语法非常灵活，你可以根据需要调整XPath表达式来选择需要匹配的元素并提取文本内容。

标签：
来源：

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。