ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

Python爬虫-Fiddle

2021-11-27 11:02:57  阅读:219  来源: 互联网

标签:1.5 Fiddler 1.3 Python 证书 爬虫 Fiddle HTTPS 抓包


1 Fiddler抓包

在我看来Fiddler的对于python爬虫的最大意义就是抓包,当然FIddler不止这一个意义,只是我没说,不代表没有。

1.1 fiddler简介

  • 位于客户端和服务器之间的HTTP代理
    • image-20211126091656943
  • Fiddler为什么可以作为一个代理,是如何实现的?(这就是Fidder的原理)
    • 在浏览器开启代理的前提下,客户端发送的所以请求都会先经过Fiddler,再转发到相应的服务器,同理响应也是相同的道理。而Fiddler就是通过代理的接口捕获相应的请求和响应的

1.2 Fiddler的下载

  • 这里就不细说了,网上教程还是比较多,下面配置就从安装好第一次打开开始

1.3 Fiddler页面

要想精通学会Fiddler,就需要在这里面每一个操作都需要了解

1.3.1 主界面介绍(6大块)

  • 分别是1. 菜单栏 2. 工具栏 3. 会话区(数据报文、数据包) 4. 功能页签 5. 命令行 6. 状态栏
image-20211126135451836

1.3.2 菜单栏

  • file栏
    image-20211126140656445

  • edit栏
    image-20211126141220425

  • rules栏
    image-20211126142118022

  • tools栏
    image-20211126142524637

  • help栏

1.3.3 工具栏

  • image-20211126144326159

1.3.4 数据报文

  • 一般只看到URL就行了,后面的都是一般不需要的资源

1.3.5 功能页签

  • 在功能页签有4个最主要的功能

    • 查看,自动调试,接口请求,过滤器
  • 统计
    image-20211126150656501

  • 查看
    image-20211126151805517

  • 自动调试
    image-20211126152254005

  • 接口请求
    image-20211126152513723

  • Fiddler脚本
    image-20211126152710229

  • 过滤器
    image-20211126153053777

1.3.6 命令框

  • 可以输出一些常用命令
    image-20211126153308806

1.3.7 状态栏

image-20211126153622903

1.4 抓包

  1. 选择过滤器,在第二个下拉框选择show only the following Hosts:仅展示主机的包
  • 例如:
    image-20211126154031851
    • 仅展示在这个地址下面的包。用英文分号结束
  1. 通过快捷键shift+F5缓存刷新获得目标页面
    • 因为浏览器一般默认通过缓存加载页面,不刷新可能得不到目标页面
  2. 找到目标包
    • 找包技巧:一般图片这些就直接跳过,找链接包,再通过包的请求头之类的查找是不是目标包

1.5 抓取HTTPS包(抓手机包)

在Fiddler中,抓取HTTPS包是需要做一点小设置的,通过设置HTTPS顺便讲一点点手机抓包

1.5.1 设置Fiddler

  1. Tools里面打开Options中的HTTPS
    image-20211127095023667
    • Canure HTTPS CONNECTS:捕获HTTPS链接
    • Decrtypt HTTPS traffic:解密HTTPS报文
  2. 再在Connections
    image-20211127095501933
    • Allow remote computers to connect:允许外部电脑连接到FIddler
      • 因为我们要连接手机

1.5.2 安装证书生成器

1.5.3 更新Fiddler证书

  • image-20211127100452069
  • 然后根据弹窗选择“是的/yes”

1.5.4 安装手机证书

要是不明白可以在网上查找相关文档

  • 要求:

    1. 手机电脑处于同一局域网
  • 步骤:

    1. 手机电脑连上同一局域网

    2. 打开浏览器下载证书

      • 连上同一局域网,在浏览器输入http://IP地址:Fiddler代理端口/

        • 例如:\(http://192.168.10.2:8888/\)
      • image-20211127102053373
      • 注意:

        1. 加载不进网页的问题:排除输入的问题多半就是Fiddler更新证书后没有重启
    3. 手机设置FIddler代理服务器IP地址

      • image-20211127101703326 - 为的是Fiddler能够捕获手机的HTTPS
    4. 下载完成后,重启FIddler,开始抓包

标签:1.5,Fiddler,1.3,Python,证书,爬虫,Fiddle,HTTPS,抓包
来源: https://www.cnblogs.com/handsome-black/p/15611055.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有