首页 > 其他分享> 文章详细

Scrapy框架的基本使用

2021-07-25 15:04:18 阅读：259 来源： 互联网

标签：基本 Name 框架 text image item Scrapy My self

scrapy框架简介

Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛

框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便

scrapy架构图

l crapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

l Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

l Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，

l Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，

l Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方

l Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。

l Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

新建scrapy项目

1、创建爬虫项目，命令：scrapy startproject 项目名称

2、创建爬虫文件，命令：scrapy genspider 文件名称域名

创建完成后会自动生成一些文件

目标网站分析需要提取的数据，在item.py文件中添加字段

Item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误

基本案例：

使用scrapy框架爬取quote.xxx 网站，爬取里面的所有text, author,tag信息，并保存到Mongodb数据库中

步骤：

1. scrapy startproject quotetest 利用scrapy命令常见一个项目，名称是quotetest
2. scrapy genspider quote quotes.toscrape.com 进入cd quotetest 目录里面，创建文件名称是quote的，域名是最后的网址，起始爬虫的网址
3. 编辑爬虫的文件quote.py(是使用命令默认生成的)其中parse方法是一个回调方法,起始url请求成功后,会回调这个方法

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    allowed_domains = ['quotes.toscrape.com']
    start_urls = ['http://quotes.toscrape.com/']

    def parse(self, response):
        #用来解析爬取中的方法,默认的回调，来进行解析
        # print(response.text)
        quotes = response.css('.quote')
        for quote in quotes:
            item = QuotetutorialItem()
            text = quote.css('.text::text').extract_first()
            author = quote.css('.author::text').extract_first()
            tags = quote.css('.tags .tag::text').extract()
            item['text'] = text
            item['author'] = author
            item['tags'] = tags
            yield item


        next = response.css('.pager .next a::attr(href)').extract_first()
        url = response.urljoin(next) #绝对的url
        yield scrapy.Request(url=url, callback=self.parse)

4. 配置item.py文件，Item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误，在quote.py中的parse方法中有使用这个类，作为解析数据的

class QuotetutorialItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    #存储
    text = scrapy.Field()
    author = scrapy.Field()
    tags = scrapy.Field()

5. 配置pipline.py中的类，它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方. 我们需要将text中的内容过长的数据进行截取结尾使用‘…’来代替，方法如

class TextPipline(object):
    def __init__(self):
        self.limit = 50
    def process_item(self, item, spider):
        if item['text']:
            if len(item['text']) > self.limit:
                item['text'] = item['text'][:self.limit].rstrip() + '...'
                return item
        else:
            return DropItem('Missing Text')

6. 配置pipline.py中的类，进行进行后期存储处理，将数据保存到mongodb中，方法如下

class MongoPipline(object):
    def __init__(self, mongo_url, mongo_db):
        self.mongo_url = mongo_url
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        #从setting里面拿到相应的配置信息
        return cls(
            mongo_url=crawler.settings.get('MONGO_URL'),
            mongo_db = crawler.settings.get('MONGO_DB')
        )
    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_url)
        self.db= self.client[self.mongo_db]
    def process_item(self, item, spider):
        name = item.__class__.__name__
        self.db[name].insert(dict(item))
        return item
    def close_spider(self, spider):
        self.client.close()

使用类方法，将配置文件中的变量配置到类中进行初始化初始化mongodb类，并使用方法process_item进行保存数据到mongodb中，最后执行关闭操作

注意settings文件中需要设置如下，否则无法知道pipline的处理

Setttings文件中，设置好mongodb的配置

ITEM_PIPELINES = {
   'quotetutorial.pipelines.TextPipline': 300,
    'quotetutorial.pipelines.MongoPipline': 400,
}


MONGO_URL = 'localhost'
MONGO_DB  = 'quotertutors'

参考网址：https://www.jianshu.com/p/8e78dfa7c368

Scrapy中选择器的用法：

选择器的用法这里介绍 3中 css xpath 还有 re

选择器的用法

https://docs.scrapy.org/en/latest/topics/selectors.html?highlight=using%20selectors#id1

scrapy shell https://docs.scrapy.org/en/latest/_static/selectors-sample1.html

#进入交互模式

网页的源代码是

<html>
 <head>
  <base href='http://example.com/' />
  <title>Example website</title>
 </head>
 <body>
  <div id='images'>
   <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>
   <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
   <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
   <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
   <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
  </div>
 </body>
</html>

练习项(CSS)：

查看title的内容

In [88]: response.css('title::text').extract_first()

Out[88]: 'Example website'

查看a标签下的内容

In [91]: response.css('a::text').extract()

Out[91]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

查看a标签下面img标签对应的属性src的内容

In [93]: response.css('a img::attr(src)').extract()

Out[93]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

查看a标签href属性包含image的下的内容

In [100]: response.css('a[href*=image]::text').extract()

Out[100]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

练习题（xpath）：

1. 查看title的内容

In [105]: response.xpath('//title/text()').extract_first()

Out[105]: 'Example website'

2. 查看a标签下的内容

In [107]: response.xpath('//a/text()').extract()

Out[107]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

3. 查看a标签下面img标签对应的属性src的内容

In [112]: response.xpath('//a/img/@src').extract()

Out[112]:

['image1_thumb.jpg',

 'image2_thumb.jpg',

 'image3_thumb.jpg',

 'image4_thumb.jpg',

 'image5_thumb.jpg']

4. 查看a标签href属性包含image的下的内容

In [115]: response.xpath('//a[contains(@href, "image")]/text()').extract()

Out[115]:

['Name: My image 1 ',

 'Name: My image 2 ',

 'Name: My image 3 ',

 'Name: My image 4 ',

 'Name: My image 5 ']

练习题（re）：

查询a标签下的内容，并利用re模块查看Name:后面的内容（使用css选择器）

In [116]: response.css('a::text').re('Name:(.*)')

Out[116]:

[' My image 1 ',

 ' My image 2 ',

 ' My image 3 ',

 ' My image 4 ',

 ' My image 5 ']

查询a标签下的内容，并利用re模块查看Name:后面的内容（使用xpath选择器）

In [117]: response.xpath('//a/text()').re('Name:(.*)')

Out[117]:

[' My image 1 ',

 ' My image 2 ',

 ' My image 3 ',

 ' My image 4 ',

 ' My image 5 ']

 

In [119]: response.xpath('//a/text()').re_first('Name:(.*)').strip()

Out[119]: 'My image 1'

标签：基本,Name,框架,text,image,item,Scrapy,My,self
来源： https://www.cnblogs.com/chaolumeng/p/15057823.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。