标签：url Request 爬虫 detail parse item scrapy meta 字典

每日分享：

人的一生是短的，但如果无趣的过这一生，就太长了。

没有体会过别人的痛苦，就不要劝别人大度。

一、scrapy.Request的参数

scrapy.Request（url[，callback，method="GET"，headers，body，cookies，meta，dont_filter=Fallse]）

参数解释：

1. 中括号中的参数为可选参数，可写可不写
2. callback：表示当前的url响应交给哪个函数去处理（默认为parse函数）
3. meta：实现数据在不同解析函数中传递，meta默认带有部分数据，比如下载延迟、请求深度等（用于解析方法之间的数据传递，常用在一条数据分散在多个不同结构的页面中的情况）
4. dont_filter：默认为False，会过滤请求的url地址，即请求过的url地址不会继续被请求，对需要重复请求的url地址可以把它设置为True，start_urls中的地址会被反复请求，否则程序不会启动
5. headers：接收一个字典，其中不包括cookies
6. cookies：接收一个字典，专门放置cookies
7. method：指定POST或GET请求
8. body：接收json字符串，为post的数据发送payload_post请求

二、meta参数

meta的作用：meta可以实现数据在不同的解析函数中的传递

在爬虫文件的parse方法中，增加一个函数parse_detail函数（用来解析另一个页面）：

def parse(self,response):
    ...
    yield scrapy.Request(detail_url, callback=self.parse_detail,meta={"item":item})
...

def parse_detail(self,response):
    #获取之前传入的item
    item = resposne.meta["item"]

就相当于，把parse中解析的数据存到了meta字典中，对应的key为item；而在另一个函数（parse_detail）中，通过meta字典中的key：item来提取parse中的数据，从而实现不同页面数据的拼接

注意：

1. meta参数是一个字典
2. meta字典中有一个固定的键proxy，表示代理ip

标签：url,Request,爬虫,detail,parse,item,scrapy,meta,字典
来源： https://blog.csdn.net/qq_52262831/article/details/121867006

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。