标签：__ fp 请求 url json 模块 requests

requests模块

1.网络请求模块

1.urllib模块（古老比较麻烦）
2…requests模块（简单主要）

2.什么是requests模块

requests模块：Python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。
requests作用：模拟浏览器发请求

3.requests 如何使用（requests模块的编码流程）

1.指定url
2.发起请求
3.获取响应数据
4.持久化存储

4.环境安装

pip install requests

5.实战编码

1.需求：爬取搜狗首页的页面数据

# 需求:爬取搜狗首页的页面内容
import requests

if __name__ == "__main__":
 # step 1 指定url
 url = "https://www.sogou.com/"
 # step 2:发起请求
 # get方法会返回一个响应对象
 response = requests.get(url=url)
 # step 3:获取响应数据,text返回的是字符串形式的响应数据
 page_text = response.text
 print(page_text)
 # step 4:持久化存储
 with open('./sougou.html','w',encoding='utf-8') as fp:
     fp.write(page_text)
 print('爬取数据结束！！！')

2.# 需求:爬取搜狗指定词条对应的搜索结果页面(简易网页采集器)

# 需求:爬取搜狗指定词条对应的搜索结果页面(简易网页采集器)
#UA：User-Agent(请求载体的身份标识)
#UA伪装:门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，
#说明该请求是一个正常的请求。但是，如果检测到请求的载体身份标识不是基于某一款浏览器的，则表示该请求为不正常的请求
#则服务器端就很有可能拒绝该次请求
#UA伪装:让爬虫对应的请求载体身份标识伪装成某一款浏览器

import requests
if __name__=="__main__":
 #UA伪装：将对应的User-Agent封装到一个字典中
 headers={
     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36"
 }
 #step 1 指定url
 url="https://www.sogou.com/web"
 #处理url携带的参数：封装到字典中
 kw=input('enter a word:')
 param={
     'query':kw
 }
 # step 2 发起请求
 #对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数
 response=requests.get(url=url,params=param,headers=headers)

 page_text=response.text
 fileName=kw+'.html'
 with open(fileName,'w',encoding='utf-8')as fp:
     fp.write(page_text)
 print(fileName,'保存成功！！！')

3#破解百度翻译

#破解百度翻译
# 对应的请求是post请求（携带参数）
#响应数据是一组json数据
import json

import requests
if __name__=="__main__":
 #step 1 指定url
 post_url='https://fanyi.baidu.com/sug'
 # 进行UA伪装
 headers={
     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36"
 }
 #3.post请求参数处理（同get请求一致）
 word=input('enter a word:')
 data={
     "kw":word
 }
 #4.请求发送
 reapinse=requests.post(url=post_url,data=data,headers=headers)
 #5.获取响应数据：json（）方法返回的是obj（如果确认响应数据是json类型的，才可以使用json（））
 dic_obj=reapinse.json()


 #进行持久话存储
 fileName=word+'.json'
 fp=open(fileName,'w',encoding='utf-8')
 json.dump(dic_obj,fp=fp,ensure_ascii=False)
 print("over!!!")

4#爬去豆瓣电影分类排行榜

#爬去豆瓣电影分类排行榜
import requests
import json
if __name__=="__main__":
 #step 1 获取url
 url='https://movie.douban.com/j/chart/top_list'
 param={
     "type": "24",
     "interval_id": "100:90",
     "action":"",
     "start": "1",#从库中的第几部电影取
     "limit": "20"#一次取出的个数
 }
 # 进行UA伪装
 headers={
     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36"
 }
 resonse=requests.get(url=url,params=param,headers=headers)
 list_data=resonse.json()

 fp=open('./d.json','w',encoding='utf-8')
 json.dump(list_data,fp=fp,ensure_ascii=False)
 print("over!!!")

标签：__,fp,请求,url,json,模块,requests
来源： https://blog.csdn.net/m0_60489682/article/details/121864025

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。