标签：xpath scrapy html python css-selectors

我使用scrapy来爬行网站.

我想提取某些div的内容.

<div class="short-description">
{some mess with text, <br>, other html tags, etc}
</div>

loader.add_xpath('short_description', "//div[@class='short-description']/div")

通过该代码,我得到了我需要的东西,但结果包括包装html(< div class =“ short-description”> …< / div>)

如何摆脱该父html标签？

注意.诸如text(),node()之类的选择器无法帮助我,因为我的div包含< br&gt ;、< p&gt ;、其他div等,空白,并且我需要保留它们.

解决方法:

hxs = HtmlXPathSelector(response)
for text in hxs.select("//div[@class='short-description']/text()").extract(): 
    print text

标签：xpath,scrapy,html,python,css-selectors
来源： https://codeday.me/bug/20191031/1973056.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。