标签：学记 encoding url 爬虫 rd pf print requests Requests

Requests库入门

实例：京东商品信息爬取

import requests
try:	
	r = requests.get('https://item.jd.com/100003717483.html')
	r.encoding = r.apparent_encoding
	r.status_code
	print(r.text[:1000])
except :
	print("Error")

爬取亚马逊商品信息

import requests
kv = {"user-agent":"Mozilla/5.0"}
url = "https://www.amazon.cn/gp/product/B01M9A3F2Q/ref=s9_acsd_al_bw_c_x_1_w?pf_rd_m=A1U5RCOVU0NYF2&pf_rd_s=merchandised-search-3&pf_rd_r=PZQ606Z7K5ZSXK47XJ9H&pf_rd_t=101&pf_rd_p=9bfb9c6a-eb8a-43a2-b26d-0939fc900d8e&pf_rd_i=1882011071"
r = requests.get(url, headers = kv)
r.encoding = r.apparent_encoding
print(r.text)

百度搜索关键词提交

import requests
try:
	kv = {"wd":"python"}
	r = requests.get("http://www.baidu.com/s", params = kv)
	print(r.status_code)
except:
	print('ERROR')

网络图片的爬取和存储

import requests
url = "http://img0.dili360.com/ga/M00/02/AB/wKgBzFQ26i2AWujSAA_-xvEYLbU441.jpg@!rw9"
path = "word"
r = requests.get(url)
print(r.status_code)
with open(path, "wb") as f:
	f.write(r.content)
f.close()

IP地址归属地自动查询

import requests
url = "http://m.ip138.com/ip.asp?ip="
try:
	r = requests.get(url + "202.205.174.122")
	r.encoding = r.apparent_encoding
	print(r.text[-500:])
except:
	print("爬取失败")

标签：学记,encoding,url,爬虫,rd,pf,print,requests,Requests
来源： https://blog.csdn.net/qq_44638724/article/details/97545367

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。