scrapy框架图片爬取

2022-05-25 23:03:18 阅读：135 来源： 互联网

只需要将img的src的属性值进行解析，提交到管道，管道就会对图片的src进行请求发送获取图片的二进制类型的数据，且还会帮我们进行持久化存储

使用流程：

数据解析（图片的地址）

将存储图片地址的item提交到制定的管道类

import scrapy
from imgPro.items import ImgproItem


class ImgSpider(scrapy.Spider):
    name = 'img'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['http://pic.netbian.com/4kmeinv/']

    def parse(self, response):
        div_list = response.xpath('//*[@id="main"]/div[3]/ul/li')
        for div in div_list:
            #注意：使用伪属性
            src = 'http://pic.netbian.com' + div.xpath('./a/img/@src').extract_first()
            item = ImgproItem()
            item['src'] = src

            yield item

在管道文件中自定制一个基于ImagesPipeLine的一个管道类

get_media_request

file_path

item_completed

from scrapy.pipelines.images import ImagesPipeline
import scrapy
class ImgproPipeline(ImagesPipeline):

    #就是可以根据图片地址进行图片数据的请求
    def get_media_requests(self, item, info):

        yield scrapy.Request(item['src'])

    #指定图片存储的路径
    def file_path(self, request, response=None, info=None):
        imgName = request.url.split('/')[-1]
        return imgName

    def item_completed(self, results, item, info):
        return item #返回给下一个即将被执行的管道类

在配置文件中：

指定图片存储的目录：IMAGES_STORE = './imgs_tupian'

指定开启的管道：自定制的管道类

标签：src,框架,管道,爬取,item,scrapy,div,图片
来源： https://www.cnblogs.com/simon1993/p/16311343.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9