标签：city 全国 url 城市 dataframe 查询 爬取 urls
全国历史天气查询/历史天气预报查询——全国各月份数据爬取 效果
 图1 目标爬取数据
|
 图2 最终实验效果
|
实验效果：最终可将官网已有的数据进行爬取整理，共363个城市，从2011年1月——至今
数据已上传至CSDN，若无C币的小伙伴可以自行爬取或至QQ群：782589269，群文件中免费下载使用
目录
全国历史天气查询_历史天气预报查询_温度查询_天气后报官网，戳它直达！
导入所需库import os
import re
import time
import pandas as pd
from tqdm import tqdm
import pickle
import requests
首先，进行官网HTML内容的分析，找出我们所需信息的代码段
官网链接：http://www.tianqihoubao.com/lishi/
url = "http://www.tianqihoubao.com/lishi/"
url_request = requests.get(url)
url_request.encoding = 'gb2312'
url_text = url_request.text
print(url_text)
可以看出我们要爬取的城市名在，诸如这样的<a>城市名</a>代码块
使用正则抽取所需的城市名信息<a href="/lishi/bj.htm" title=“北京历史天气预报”><b>北京</b></a>
若不懂正则表达式，在此，你只需了解在正则表达式中可以用(\w+)来提取所需内容即可
比如对于上例中的链接，将其中的‘北京’换成(\w+)即可，对于各城市相同的部分保持不变，各城市不同的部分使用正则表达式替换，不加括号代表不提取，即\w+
因此，可以得到下述pattern提取公式
url ='<a href="/lishi/beijing.html" title="北京历史天气查询">北京 </a>'
pattern = '<a href="/lishi/(\w+.html)" title="\w+">(\w+) </a>'
实验测试
exapmle_text = '<a href="/lishi/beijing.html" title="北京历史天气查询">北京 </a>'
pattern = re.compile(r'<a href="/lishi/(\w+.html)" title="\w+">(\w+) </a>')
example_city = pattern.findall(exapmle_text)
print(example_city)
pattern = re.compile(r'<a href="/lishi/(\w+.html)" title="\w+">(\w+) </a>')
citys = pattern.findall(url_text) # 获取363个城市名
print("已获取{}个城市名，第一个城市是{}，最后一个城市是{}".format(len(citys),citys[0],citys[-1]))
进行城市各月份链接的爬取，以同样的方法分析其中一个城市的各月份链接地址，如北京
北京2011年1月的链接为
http://www.tianqihoubao.com/lishi/beijing/month/201101.html
北京2011年2月的链接为
http://www.tianqihoubao.com/lishi/beijing/month/201102.html
可以得到如下规律
- 基地址：http://www.tianqihoubao.com/lishi/
- 城市地址：beijing/
- 月份地址：month/201101.html
- 各个城市的月份链接地址=基地址+城市地址+月份地址
以此规律进行爬取即可？
不可，在笔者尝试N次后，发现必然部分城市数据爬取不全，为什么呢？因为这个网站的HTML语言不是均按照上述规律写的（可能官网的程序员中途换人了，真的太让人头秃了）
实验发现，大约对于同一个城市有大约这样四种神奇的HTML语言格式，在此就是一展你正则表达式的水平的时候了…（写了个爬虫，正则倒是进步了）
exapmle_text = '''
<li><a href='/lishi/beijing/month/201101.html' title=\"北京2011年01月天气\">2011年1月北京天气</a></li>
<li><a href='/lishi/beijing/month/201604.html' >2016年4月北京天气</a></li>
<li><a href='/lishi/beijing/month/201605.html'>2016年5月北京天气</a></li>
<li><a href='beijing/month/201612.html'>2016年12月北京天气</a></li>
'''
pattern = re.compile(r"<li><a href='/lishi/(\w+/\w+/\w+.html)'\s?title=\"\w+\">\w+</a></li>|<li><a href='(?:/lishi/)?(\w+/\w+/\w+.html)'\s?>\w+</a></li>")
pattern.findall(exapmle_text)
进行城市月份数据的爬取
city_urls = {}
base_url = 'http://www.tianqihoubao.com/lishi/'
for url_city in citys:
url,city = url_city
city_base_url = base_url + url
city_urls[city] = []
pattern = re.compile(r"<li><a href='/lishi/(\w+/\w+/\w+.html)'\s?title=\"\w+\">\w+</a></li>|<li><a href='(?:/lishi/)?(\w+/\w+/\w+.html)'\s?>\w+</a></li>")
city_url_request = requests.get(city_base_url)
for tuple_ in pattern.findall(city_url_request.text):
i,j = tuple_
if i.strip():
i = base_url + i
city_urls[city].append(i)
else:
j = base_url + j
city_urls[city].append(j)
print('{}：{}份数据'.format(city,len(city_urls[city])))
print('示例链接：',city_urls[city][0],'\n')
本地保存后，即使后面实验失败了，也可以从此再次断点重启
通过pickle保存字典
with open("city_urls.file", "wb") as f:
pickle.dump(city_urls, f)
# 通过pickle读取字典
with open("city_urls.file", "rb") as f:
city_urls = pickle.load(f)
df：将保存所有数据，以城市列为区分df_city：将保存各个城市单独的数据error：不断记录爬取失败的城市与对应链接
df = pd.DataFrame(columns = ['日期', '天气状况', '气温', '风力风向','城市'])
error = []
for city in tqdm(city_urls.keys()):
df_city = pd.DataFrame(columns = ['日期', '天气状况', '气温', '风力风向','城市'])
if city + '.csv' in os.listdir('./output/'):
continue
for month_url in city_urls[city]:
try:
dataframe = pd.read_html(month_url,encoding = 'gb2312')[0]
if dataframe.shape[0] == 0:
dataframe = pd.DataFrame(columns = ['日期', '天气状况', '气温', '风力风向','城市'])
dataframe.loc[0,:] = [None,None,None,None,city]
else:
dataframe = dataframe.loc[1:,:]
dataframe.columns = ['日期', '天气状况', '气温', '风力风向']
dataframe['城市'] = city
df_city = df_city.append(dataframe)
df = df.append(dataframe)
except:
print('Error')
print(month_url)
error.append((city,month_url))
continue
df_city.to_csv('./output/'+city+'.csv',index=False)
print('城市：\t',city,'数据收集完毕')
print('所有城市数据，已收集完成！')
标签：city,全国,url,城市,dataframe,查询,爬取,urls 来源： https://blog.51cto.com/u_15273918/2917730
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。