使用python批量爬取wallhaven.cc壁纸站壁纸

2022-08-26 17:30:26 阅读：386 来源： 互联网

标签：python wallhaven li headers 地址 html add 壁纸 data

偶然发现https://wallhaven.cc/这个壁纸站的壁纸还不错，尤其是更新比较频繁，用python写个脚本爬取

点latest，按照更新先后排序，获得新地址，发现地址是分页展示的，每一页24张

本案例使用xpath爬虫爬取数据，先分析网页，使用浏览器查看元素工具，快速定位到图片元素所在位置，且存在规律性

首先爬取一级页面获取图片页面地址（点了上图箭头的地址会打开图片详细页，并非图片真实地址），xpath提取数据的代码如下

html = requests.get(url=url1, headers=headers, timeout=5.0).text
data = etree.HTML(html)
li_list = data.xpath('.//div[@id="thumbs"]//@href')

执行后爬取出一连串的地址信息

对里面包含“latest”的地址进行剔除，这个地址非图片地址，然后再循环请求图片地址，获取真实图片地址

        for li in li_list:
            if 'latest' in li:
                continue
            else:
                html_li = requests.get(url=li, headers=headers, timeout=5.0).text
                data = etree.HTML(html_li)
                li_add = data.xpath('//*[@id="wallpaper"]//@src')
                li_add = li_add[0]
                print(li_add)

执行后输出真实图片地址

把这些地址写到一个txt文本内，然后通过迅雷去下载，效率会高一些，当然也可以爬取后执行使用python下载，单线程下蛮久的。先上保存到txt内的全部代码

# -*- codeing = utf-8 -*-

import requests
from lxml import etree
import time
import random
import time

def getBZ():

    url='https://wallhaven.cc/latest?page={}'

    # 翻页10页
    for page in range(1, 10):

        headers = {
            # 'referer': 'https://wallhaven.cc/',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',
        }
        print(time.strftime("%H:%M:%S"))

        print("第{}页".format(page))

        url1 = url.format(page)
        print(url1)
        # 一级页面请求
        html = requests.get(url=url1, headers=headers).text
        data = etree.HTML(html)
        li_list = data.xpath('.//div[@id="thumbs"]//@href')
        for li in li_list:
            if 'latest' in li or 'top'in li:
                continue
            else:
                print(li)
                html_li = requests.get(url=li, headers=headers)
                print(html_li.status_code)
                if html_li.status_code == 404 or html_li.status_code == 429:#判断，如果响应失败跳过这次数据抓取
                    continue
                else:
                    data = etree.HTML(html_li.text)
                    li_add = data.xpath('//*[@id="wallpaper"]//@src')
                    li_add = li_add[0]
                    with open('1538.txt', 'a',encoding='utf-8') as w:
                        w.write(li_add+'\n')
                        w.close()
                    b = random.randint(1,2)#随机从1到2内取一个整数值
                    print("等待"+str(b)+"秒")
                    time.sleep(b)#把随机取出的整数值传到等待函数中
getBZ()

标签：python,wallhaven,li,headers,地址,html,add,壁纸,data
来源： https://www.cnblogs.com/becks/p/16628335.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

使用python批量爬取wallhaven.cc壁纸站壁纸