ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

scrapy提取数据之:xpath选择器 xpath选择 属性值 text string 几种结果

2019-06-27 22:43:02  阅读:224  来源: 互联网

标签:xpath 提取 string text 选择器 href extract 节点


 

scrapy提取数据之:xpath选择器    http://www.scrapyd.cn/doc/186.html

表达式描述
nodename 选取此节点的所有子节点。
/ 从根节点选取。
// 从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。
. 选取当前节点。
.. 选取当前节点的父节点。
@ 选取属性。

那我们要提取href就是:@href,试一下:

In [1]: response.xpath("@href")

 

response.xpath("//ol//@href")
和css选择器一样我们还是用到了:extract()、extract_first()这两个函数,加上就可以提取纯粹的href值了,如下:
In [11]: response.xpath("//ol[@class='page-navigator']//@href").extract()


二、接下来我们提取标签里面的内容,表达式: //text()

特别注意  是双反斜杠
response.xpath("//title//text()").extract()

 

三、包含HTML标签的所有文字内容提取:string()
你会发现虽然能提取但是一个列表,不是整段文字:

In [4]: response.xpath("//div[@class='post-content']//text()").extract()
可看到我们没有使用:text(),而是用:string(要提取内容的标签),这样的话就能把数据都提取出来了,而且都合成为一条,并非一个列表

标签:xpath,提取,string,text,选择器,href,extract,节点
来源: https://www.cnblogs.com/stillstep/p/11100030.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有