ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

数据可视化入门篇----操作JSON格式数据并进行简单的可视化

2021-06-09 17:55:20  阅读:247  来源: 互联网

标签:chart ---- 入门篇 可视化 btc close line 收盘价 dict


1.JSON格式(制作交易收盘价走势图)

(1)下载收盘价数据:

点我跳转至下载页面!

在这里插入图片描述
观察文件可知:此文件实际上就是一个很长的python列表,其中每个元素都是一个包含五个键的字典:统计日期,月份,周数,周几及收盘价。

(2)JSON格式数据的读取:(使用load()方法将JSON格式数据转换为Python能够处理的字典格式!)

import json

#将数据加载到一个列表中
filename = 'btc_close_2017.json'
with open(filename) as f:
    btc_data = json.load(f)

# 打印每一天的信息
for btc_dict in btc_data:
    date = btc_dict['date']
    month = btc_dict['month']
    week = btc_dict['week']
    weekday = btc_dict['weekday']
    close = btc_dict['close']
    print("{} is month {} week {},{}, the close price is {} RMB".format(date, month, week, weekday, close))

在这里插入图片描述

(3)将字符串转换为数字值:

JSON文件中的每个键和值都是字符串。为了后面能够进行数据的计算,需要将表示周数,月数和收盘价的字符串转换为数值!

在这里插入图片描述但是将收盘价close转换为整数时,出现了ValueError异常。原因:python不能直接将包含小数点的字符串“6928.6492”转换为整数。解决方法:先将字符串转换为浮点数,再将浮点数转换为整数:
在这里插入图片描述

(4)绘制收盘价折线图:

使用Pygal来实现收盘价的折线图!

import json
import pygal

#将数据加载到一个列表中
filename = 'btc_close_2017.json'
with open(filename) as f:
    btc_data = json.load(f)

#创建五个列表,分别存储日期和收盘价   将数据转换为绘制折线图的可用数据
dates = []
months = []
weeks = []
weekdays = []
close = []
#每一天的信息
for btc_dict in btc_data:
    dates.append(btc_dict['date'])
    months.append(int(btc_dict['month']))
    weeks.append(int(btc_dict['week']))
    weekdays.append(btc_dict['weekday'])
    close.append(int(float(btc_dict['close'])))


'''绘制收盘价折线图'''
# x_label_rotation=20让x轴上的日期标签顺时针旋转20度   ;   show_minor_x_labels=False告诉图形不用显示所有的x轴标签
line_chart = pygal.Line(x_label_rotation=20,show_minor_x_labels=False)   #创建Line实例,进行一些设置
line_chart.title = '收盘价(¥)'
line_chart.x_labels = dates         #设置x轴为日期,但是总共346个日期,如果都显示太拥挤,所以上面设置show_minor_x_labels=False
N = 20                              #x轴坐标每隔20天显示一次
line_chart.x_labels_major = dates[::N]
line_chart.add('收盘价',close)
line_chart.render_to_file('收盘价折线图(¥).svg')

从图可知:加个从2017年11月12日到2017年12月12日快速增长,平均每天增值约2500元人命币。
在这里插入图片描述

(5)时间序列特征初探:

**
进行时间序列分析总是期望发现趋势,周期性和噪声,从而能够描述事实,预测未来,做出决策!
从收盘价的折线图可以看出,总体趋势是非线性的,而且增长幅度不断增大,似乎呈指数分布。
但是在每个季度末(3月,6月,9月)似乎有一些相似的波动,虽然这些波动被增长的趋势掩盖了,不过也许有周期性。
为了验证周期性的假设,需要首先将非线性的趋势消除。
对数变换是常用的处理方法之一。
这里以10为底的对数函数math.log10计算收盘价,日期仍然保持不变。这种方式称为半对数变换!**

import json
import pygal
import math

#将数据加载到一个列表中
filename = 'btc_close_2017.json'
with open(filename) as f:
    btc_data = json.load(f)

#创建五个列表,分别存储日期和收盘价   将数据转换为绘制折线图的可用数据
dates = []
months = []
weeks = []
weekdays = []
close = []
#每一天的信息
for btc_dict in btc_data:
    dates.append(btc_dict['date'])
    months.append(int(btc_dict['month']))
    weeks.append(int(btc_dict['week']))
    weekdays.append(btc_dict['weekday'])
    close.append(int(float(btc_dict['close'])))

'''绘制收盘价对数变换折线图'''
line_chart = pygal.Line(x_label_rotation=20,show_minor_x_labels=False)   #创建Line实例,进行一些设置
line_chart.title = '收盘价对数变换(¥)'
line_chart.x_labels = dates         #设置x轴为日期,但是总共346个日期,如果都显示太拥挤,所以上面设置False
N = 20                              #x轴坐标每隔20天显示一次
line_chart.x_labels_major = dates[::N]
close_log = [math.log10(_) for _ in close]
line_chart.add('log收盘价',close_log)
line_chart.render_to_file('收盘价对数变换折线图(¥).svg')

'''现在,用对数变换剔除非线性趋势之后,整体上涨的趋势更接近线性增长。'''

从图可知:收盘价在每个季度末似乎有显著的周期性----3月,6月和9月都出现了剧烈的波动。那么,12月是不是也是如此呢?下面看看收盘价的月日均值与周日均值的表现。
在这里插入图片描述

(6)收盘价均值:

绘制2017年前11个月的日均值,前49周(2017年-01-02~2017-12-10)的日均值,以及每周中各天的日均值。虽然这些日均值的数值不同,但都是一段时间的均值,计算方法一致。所以,将前面的绘图代码封装成函数:

from itertools import groupby  # 由于需要将数据按月份,周数,周几分组,再计算每组的平均值,因此导入此模块


def draw_line(x_data, y_data, title, y_legend):
    xy_map = []
    for x, y in groupby(sorted(zip(x_data, y_data)), key=lambda _: _[0]):    # 先将x轴与y轴的数据合并,排序,再用groupby分组
        y_list = [v for _, v in y]
        xy_map.append([x, sum(y_list) / len(y_list)])                        # 分组之后,求出每组的平均值
    x_unique, y_mean = [*zip(*xy_map)]                                       # 将xy_map中存储的x轴与y轴的数据分离
    line_chart = pygal.Line()
    line_chart.title = title
    line_chart.x_labels = x_unique
    line_chart.add(y_legend, y_mean)
    line_chart.render_to_file(title+'.svg')
    return line_chart
①收盘价月日均值(取2017年1月到11的数据。通过dates查找2017-12-01的索引位置,确定周数和收盘价的取数范围)
from itertools import groupby  # 由于需要将数据按月份,周数,周几分组,再计算每组的平均值,因此导入此模块
import json
import pygal

#将数据加载到一个列表中
filename = 'btc_close_2017.json'
with open(filename) as f:
    btc_data = json.load(f)

# 创建五个列表,分别存储日期和收盘价
dates = []
months = []
weeks = []
weekdays = []
close = []
for btc_dict in btc_data:
    dates.append(btc_dict['date'])
    months.append(int(btc_dict['month']))
    weeks.append(int(btc_dict['week']))
    weekdays.append(btc_dict['weekday'])
    close.append(int(float(btc_dict['close'])))

def draw_line(x_data, y_data, title, y_legend):
    xy_map = []
    for x, y in groupby(sorted(zip(x_data, y_data)), key=lambda _: _[0]):    # 先将x轴与y轴的数据合并,排序,再用groupby分组
        y_list = [v for _, v in y]
        xy_map.append([x, sum(y_list) / len(y_list)])                        # 分组之后,求出每组的平均值
    x_unique, y_mean = [*zip(*xy_map)]                                       # 将xy_map中存储的x轴与y轴的数据分离
    line_chart = pygal.Line()
    line_chart.title = title
    line_chart.x_labels = x_unique
    line_chart.add(y_legend, y_mean)
    line_chart.render_to_file(title+'.svg')
    return line_chart

# 收盘价月日均值:
idx_month = dates.index('2017-12-01')
line_chart_month = draw_line(months[:idx_month], close[:idx_month], '收盘价月日均值(¥)', '月日均值')

在这里插入图片描述

②绘制前49周的日均值(2017年的第一周从2017年1月2日开始,取数时将第一天去掉;2017年第49周周日是2017年12月10号,因此通过dates查找2017-12-11的索引位置!)
idx_week = dates.index('2017-12-11')
line_chart_week = draw_line(months[1:idx_week], close[1:idx_week], '收盘价周日均值(¥)', '周日均值')

在这里插入图片描述

③绘制每周中各天的均值(取前49周[2017-01-02~2017-12-10]的数据)

由于这里的周几是字符串,按周一到周日的顺序排列,而不是单词首字母的顺序,绘图时x轴标签的顺序会有问题。另外,原来的周几都是英文单词,还可将其调整为中文。

idx_week = dates.index('2017-12-11')
wd = ['Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Saturday', 'Sunday']
# 将weekdays的内容替换为1~7的整数
weekdays_int = [wd.index(w) + 1 for w in weekdays[1:idx_week]]
line_chart_weekday = draw_line(weekdays_int, close[1:idx_week], '收盘价星期均值(¥)', '星期均值')
line_chart_weekday.x_labels = ['周一', '周二', '周三', '周四', '周五', '周六', '周日']

在这里插入图片描述

④收盘价数据仪表盘

现在已经有很多图了,每个SVG文件打开之后都是独立的页面。如果能将它们整合一起,会很方便管理,监测和分析。另外,新的图表也可以十分方便的加入进来,这样就形成了一个数据仪表盘

''' 将多张SVG文件整合在一起
    就是做一个数据仪表盘,即一个完整的网页(HTML文件)
    思路如下,.svg文件需要插件才能实现在网页中'''
with open('收盘价Dashboard.html', 'w', encoding='utf8') as html_file:
    html_file.write(
        '<!DOCTYPE html>\n<html lang="en">\n<head>\n<meta charset="utf-8">'
        '<title>收盘价Dashboard</title>\n</head>\n<body>\n')
    for svg in [
            '收盘价星期均值(¥).svg', '收盘价对数变换折线图(¥).svg', '收盘价月日均值(¥).svg', '收盘价周日均值(¥).svg']:
        html_file.write(
            '    <object codebase="image/svg+xml" data="{0}" height=500></object>\n'.format(svg))
    html_file.write('</body>\n</html>')

生成的名为‘收盘价Dashboard.html’的HTML文件:

<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="utf-8"><title>收盘价Dashboard</title>
</head>
<body>
    <object codebase="image/svg+xml" data="收盘价星期均值(¥).svg" height=500></object>
    <object codebase="image/svg+xml" data="收盘价对数变换折线图(¥).svg" height=500></object>
    <object codebase="image/svg+xml" data="收盘价月日均值(¥).svg" height=500></object>
    <object codebase="image/svg+xml" data="收盘价周日均值(¥).svg" height=500></object>
</body>
</html>

在这里插入图片描述

标签:chart,----,入门篇,可视化,btc,close,line,收盘价,dict
来源: https://blog.51cto.com/u_15264787/2886552

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有