python爬虫的进阶用法

2020-04-07 11:07:12 阅读：236 来源： 互联网

标签：进阶 callback python self 爬虫 need proxy time fail

应用场景：

01：

去爬虫微信公众号文章，已知requests的执行方式实际就是执行里面request方法，
我们进行重写request方法的init，加入我们需要的字段：

如　　callback --获取response执行回调函数 need_proxy --是否需要代理

　　　fail_time --执行get获取url的失败次数　timeout = 10

from requests import Request
TIMEOUT = 10
class WeixinRequest(Request):
    def __init__(self,url,callback,method='GET',headers=None,need_proxy=False,fail_time=0,timeout=TIMEOUT):
        Request.__init__(self,method,url,headers)
        self.callback =callback
        self.need_proxy = need_proxy
        self.fail_time = fail_time
        self.timeout = timeout

标签：进阶,callback,python,self,爬虫,need,proxy,time,fail
来源： https://www.cnblogs.com/hero799/p/12652071.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

python爬虫的进阶用法

01：