标签：__ get URL 抓取 json urls 自带

有很多朋友在抓取百度内容的时候仅需要搜索结果中的链接，那么这个时候问题就来了，如果是正常抓取百度URL的话抓回来的是一个快照缓存链接，并不是我们想要的那个URL。

这里百度提供了一个json的接口，通过这个接口可以直接抓取网站的实际页面链接，一起来看

https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rn=50&tn=json&wd=site:www.814.net.cn

通过tn这个URL参数来选择json数据格式，下面我就抓取一下这个课程资源网的搜索结果，看看能抓到都是URL

import re
import requests


def result():
    url = 'www.814.net.cn'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0'}
    query = f'https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rn=50&tn=json&wd=site:{url}'
    r = requests.get(query, headers=headers).json()
    link = r.get('feed').get('entry')
    urls = []
    for i in link:
        siteurl = i.get('url')
        urls.append(siteurl)
    return urls


if __name__ == '__main__':
    urls = result()
    for i in urls:
        print(i)

这个是我用到的一个小工具，输入一个域名可以抓取前50名的url链接，如果需要更多搜索结果可以通过pn参数来实现

标签：__,get,URL,抓取,json,urls,自带
来源： https://blog.csdn.net/qq_42713130/article/details/115016666

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。