首页 > 编程语言> 文章详细

Python采集天天基金数据，帮你掌握基金最新动向

2021-12-18 16:32:34 阅读：149 来源： 互联网

标签：12 Python st 基金 url td csv data 最新动向

本次案例实现流程

一、思路分析

需要什么数据?需要的数据在哪里?

二、代码实现

发送请求
获取数据
解析数据
多页爬取
保存数据

知识点

requests发送请求
开发者工具的使用
json类型数据解析
正则表达式的使用

开发环境

版本：python 3.8
编辑器：pycharm 2021.2

本次目标

对于本篇文章有疑问的同学可以加【资料白嫖、解答交流群：910981974】

分析网站

第一步：打开开发者工具，按F12，或者右键点击检查
第二步：刷新网站，点击搜索工具，在搜索框内输入基金代码，点击搜索

第三步：找到数据所在的真实url

开始代码

导入模块

import requests    
import re
import csv

发送请求

url = f'http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=6yzf&st=desc&sd=2020-12-16&ed=2021-12-16&qdii=&tabSubtype=,,,,,&pi=1&pn=50&dx=1'
headers = {
    'Cookie': 'HAList=a-sz-300059-%u4E1C%u65B9%u8D22%u5BCC; em_hq_fls=js; qgqp_b_id=7b7cfe791fce1724e930884be192c85e; _adsame_fullscreen_16928=1; st_si=59966688853664; st_asi=delete; st_pvi=79368259778985; st_sp=2021-12-07%2014%3A33%3A35; st_inirUrl=https%3A%2F%2Fwww.baidu.com%2Flink; st_sn=3; st_psi=20211216201351423-112200312936-0028256540; ASP.NET_SessionId=miyivgzxegpjaya5waosifrb',
    'Host': 'fund.eastmoney.com',
    'Referer': 'http://fund.eastmoney.com/data/fundranking.html',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36',
}
response = requests.get(url=url, headers=headers)

获取数据

data = response.text

解析数据筛选数据

 data_str = re.findall('\[(.*?)\]', data)[0]

转变数据类型

tuple_data = eval(data_str)
for td in tuple_data:
    # 把td 变成列表
    td_list = td.split(',')

翻页

分析不同页数url变化规律

for page in range(1, 193):
    print(f'-------------------------正在爬取第{page}页内容-----------------------')
    url = f'http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=6yzf&st=desc&sd=2020-12-16&ed=2021-12-16&qdii=&tabSubtype=,,,,,&pi={page}&pn=50&dx=1'

保存数据

with open('基金.csv', mode='a', encoding='utf-8', newline='') as f:
    csv_write = csv.writer(f)
    csv_write.writerow(td_list)
print(td)

运行代码，得到数据

标签：12,Python,st,基金,url,td,csv,data,最新动向
来源： https://www.cnblogs.com/qshhl/p/15705362.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9