标签：数据分析 __ etree Python parser number response class

• 爬取部分豆瓣top250

 1 import requests
 2 from lxml import etree
 3 
 4 
 5 def getData(number):
 6     url = "https://movie.douban.com/top250?start={0}".format(number)
 7     headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'}
 8     response = requests.get(url, timeout=10, headers=headers)
 9     response.encoding = 'utf-8'
10     parser = etree.HTMLParser(encoding='utf-8')
11     html = etree.HTML(response.text, parser=parser)
12     message = html.xpath('//ol[@class="grid_view"]/li/div[@class="item"]/div[@class="pic"]/a/img/@alt')　　# 根据网页结构不同，自行调整
13     print(message)
14 
15 
16 if __name__ == '__main__':
17     # 每页25个电影，取前10页
18     for number in range(0, 250, 25):
19         getData(number)

标签：数据分析,__,etree,Python,parser,number,response,class
来源： https://www.cnblogs.com/TheOcean/p/15223671.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。