标签：get url data 爬虫 学习 session requests recv

爬虫学习

    今天再次学习了爬虫，因为下周估计要做爬虫了，所以我得提前学习下爬虫。
两个请求 get 和 post

get请求：

get请求是直接能够在url里面直接能够看到的，提交get请求时，需要是注意par...(参数)。
python在requests里面把参数也是优化的非常好了，里面有一个内置方法是params，在params里面写入参数

示例

import  requests
url = "http://127.0.0.1:9000/signin/"
payload = {
    'username':'admin',
    'password':'admin',
    'submit':"提交"
}

recv_data = requests.get(url=url , params=payload)
print(recv_data.text)
print(recv_data.url)

post请求

post请求时，这个地方估计会不一样的

import  requests
url = "http://127.0.0.1:9000/signin/"
payload = {
    'username':'admin',
    'password':'admin',
    'submit':"提交"
}

recv_data = requests.post(url=url , data=payload)
print(recv_data.text)
print(recv_data.url)

类似于post的请求，但是提交的效果已经改变了

加入session

session 是保持会话通信的一种，一般像网上的登录，都是session。举个列子，假设在b站登录过之后，你可以点击其他视频看，这个时候会显示你的账号还没有退出。不退出的状态就是session保持的会话连接，做过一遍web开发之后，就会更加了解session了。

import requests
url = 'http://www.baidu.com'#先获得session，然后再进行get 或post 请求
recv_session = requests.Session()
recv_data = recv_session.get(url)
print(recv_data)

有的时候，还是需要session的，不加session可能就会报错。

加入headers

headers 是用来标识浏览器的，其中有浏览器的版本，请求主机系统是win10 winxp，还有请求的语言，某多星问卷调查就可以通过更改headers来进行模拟发送问卷调查

import requests
url ='http://www.baidu.com'
# 暂时就先加入一个ua
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:70.0) Gecko/20100101 Firefox/70.0'}

recv_data = requests.get(url=url,headers = headers)
print(recv_data.request.headers)

标签：get,url,data,爬虫,学习,session,requests,recv
来源： https://www.cnblogs.com/Triangle-security/p/11947615.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。