python3写360图库爬虫

2019-07-13 14:02:52 阅读：161 来源： 互联网

标签：ps url image 爬虫 360 key 图片 python3 sn

前言

要求：进行搜索并且保存360图库图片
图库地址：360图库

基本思路

简单分析以后，发现360图库使用动态渲染，并且采用下拉反式加载图片，那么解决问题就出现3种常用方法，操作js、模拟浏览器、Ajax。如果使用模拟的反式代码量较高，速度慢（当然也更加稳定），但是经过简单分析以后发现图片是使用ajax加载的。那么就直接使用ajax。

分析该请求
在这里插入图片描述
查看请求的response
经过json.cn处理
发现请求的结果是一个json字符串，并且在字符串中找到了"img":“http://image2.sina.com.cn/ty/k/2007-02-28/U1830P6T12D2772429F44DT20070228124853.jpg”,这样一个字段，这不就是要爬取的图片地址吗。
那么问题就简单了，我们可以通过requsets模拟请求后，直接解析json提取图片地址，保存就完成工作了。

我们分析请求头有
在这里插入图片描述

这样几个重要字段
q：搜索关键词
ps-sn：爬取图片的标记（每次增加60）
pn：爬取图片的页数
简单分析以后就开始写代码

import requests
from urllib.request import urlretrieve
import time


def image_spider(key_q, key_ps, key_sn):  # 请求函数
    url = "http://image.so.com/j?q=nba&src=srp&correct=nba&pn=60&ch=&sn=208&ps=201&pc=60&pd=1&prevsn=148" \
          "&sid=39b8dabeae51031efce5a8d8b1fc6957&ran=0&ras=6&cn=0&gn=0&kn=8&comm=1"
    headers = {
        'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
                      "(KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36",
        'Referer': "http://image.so.com/i?q=nba&src=srp"
    }
    params = {
        'q': key_q,
        'src': 'srp',
        'pn': '60',
        'ch': '',
        'sn': key_sn,
        'ps': key_ps,
        'pc': '60',
        'pd': '1',
        'prevsn': '0',
        'sid': 'd34ad660320d853f00ea2d476ba2eaa5',
        'ran': '0',
        'ras': '6',
        'cn': '0',
        'gn': '0',
        'kn': '8',
        'comm': '1'
    }

    response = requests.get(url, headers=headers, params=params).json()  # 转json
    lists = response.get('list')  # 提取list件，值为一个列表

    for lis in lists:
        open_image(lis.get('img'))  # 遍历列表，提取其中img字符串（图片url）
    time.sleep(2)


def open_image(image_url):
    image_name = hash(image_url)  # 图片名字（为图片地址的url值）
    path = 'image/%s.jpg' % str(image_name)  # 图片地址
    urlretrieve(image_url, path)  # 保存图片
    print(image_url, '下载成功')
    time.sleep(1)


def main():
    key_q = input("输入要爬取的图片关键词")
    ps = 81
    sn = 88

    for i in range(0, 10):  # 爬取多少图片
        key_ps = ps+i*60
        key_sn = sn+i*60
        image_spider(key_q, key_ps, key_sn)


if __name__ == '__main__':
    main()

总结

360图库爬虫并不困难，实际上只要认真分析ajax，和返回的json就可以找到结果。

标签：ps,url,image,爬虫,360,key,图片,python3,sn
来源： https://blog.csdn.net/Timt_DB/article/details/95724541

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

python3写360图库爬虫

前言

基本思路

总结