首页 > 其他分享> 文章详细

scrapy download delay, CONCURRENT_REQUESTS

2021-09-12 05:31:05 阅读：212 来源： 互联网

标签：DELAY py request delay CONCURRENT scrapy href download REQUESTS

设置delay有起码两个好处，一个是对被爬对象表示礼貌，另一个是爬的太快，很多服务器会封ip，或限制访问。

效果：每x秒左右来一个request

先建立一个项目来找CONCURRENT_REQUESTS与DOWNLOAD_DELAY的联系

大致给出粗略代码：

jianshuspider.py：

import scrapy
from JianshuSpider_author_1.items

import JianshuspiderAuthor1Item

from scrapy.selector
import Selector

class JianshuSpider(scrapy.Spider):

name ="jianshu"

def start_requests(self):

urls = ['http://www.jianshu.com/users/958f740aed52/followers']

for url
in urls:

yield scrapy.Request(
url = url,
callback=
self.parse_author)

def parse_author(

self,

response):
item = JianshuspiderAuthor1Item()

selector = Selector(response)

fans_href = selector.xpath("//div[@class='info']/a/@href").extract()

for fan_href
in fans_href:

fan_href ='http://www.jianshu.com/users/'+ fan_href.split('/')[-1] +'/followers'

# fan_href = 'http://www.google.com.hk/'+ fan_href.split('/')[-1] + '/followers'#需要timeout时调用

yield scrapy.Request(fan_href,
callback=self.parse_author)

item['author'] = selector.xpath("//div[@class='title']/a/text()").extract_first()

yield item

requestlimit.py(downlomiddleware):

class RequestLimitMiddleware(object):

count =0

def process_request(self,request,spider):

self.count +=1

print(self.count)

以上两个文件的代码为核心代码。

测试结果：

一：

settings.py

CONCURRENT_REQUESTS =8

DOWNLOAD_DELAY =0

并且jianshuspider.py中关闭递归简书链接，打开Google链接语句

效果：8个request同时来，同时timeout。8个request又来，又timeout。如此循环。

二：

settings.py

CONCURRENT_REQUESTS =1

DOWNLOAD_DELAY =5

并且jianshuspider.py中打开递归简书链接，关闭Google链接语句

效果：每5秒左右来一个request

三：

settings.py

CONCURRENT_REQUESTS =2
DOWNLOAD_DELAY =5

并且jianshuspider.py中打开递归简书链接，关闭Google链接语句

效果：一开始来2个request（A，B），但5秒后只处理了一个request(A)，新来一个request(C),5秒后又处理一个request（B）,排队一个request（D）。如此循环。

总结：

DOWNLOAD_DELAY 会影响 CONCURRENT_REQUESTS，不能使并发显现出来。

思考：

当有CONCURRENT_REQUESTS，没有DOWNLOAD_DELAY 时，服务器会在同一时间收到大量的请求。

当有CONCURRENT_REQUESTS，有DOWNLOAD_DELAY 时，服务器不会在同一时间收到大量的请求。

标签：DELAY,py,request,delay,CONCURRENT,scrapy,href,download,REQUESTS
来源： https://www.cnblogs.com/andy0816/p/15257299.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

scrapy download delay, CONCURRENT_REQUESTS