首页 > 其他分享> 文章详细

pandas

2021-08-06 20:01:53 阅读：281 来源： 互联网

标签：df Series DataFrame pd data pandas

1.pandas是什么

官网：https://pandas.pydata.org/

源码：https://github.com/pandas-dev/pandas

开发文档：https://pandas.pydata.org/pandas-docs/stable/reference/io.html

Pandas 是 Python 语言的一个扩展程序库，用于数据分析。

Pandas 是一个开放源码、BSD 许可的库，提供高性能、易于使用的数据结构和数据分析工具。

Pandas 名字衍生自术语 “panel data”（面板数据）和 “Python data analysis”（Python 数据分析）。

Pandas 一个强大的分析结构化数据的工具集，基础是 Numpy（提供高性能的矩阵运算）。

Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数据。

Pandas 可以对各种数据进行运算操作，比如归并、再成形、选择，还有数据清洗和数据加工特征。

Pandas 广泛应用在学术、金融、统计学等各个数据分析领域

1.1应用

Pandas 的主要数据结构是 Series （一维数据）与 DataFrame（二维数据），这两种数据结构足以处理金融、统计、社会科学、工程等领域里的大多数典型用例。

1.2数据结构

Series 是一种类似于一维数组的对象，它由一组数据（各种Numpy数据类型）以及一组与之相关的数据标签（即索引）组成。

DataFrame 是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值）。DataFrame 既有行索引也有列索引，它可以被看做由 Series 组成的字典（共同用一个索引）

2.pandas-series

Pandas Series 类似表格中的一个列（column），类似于一维数组，可以保存任何数据类型。

pandas.Series( data, index, dtype, name, copy)

data：一组数据(ndarray 类型)。

index：数据索引标签，如果不指定，默认从 0 开始。

dtype：数据类型，默认会自己判断。

name：设置名称。

copy：拷贝数据，默认为 False

创建一个实例

pd.series(a)
列表：
import pandas as pd
a = [1, 2, 3]
myvar = pd.Series(a)
print(myvar[1])
结果：2
指定索引
a = [1, 2, 3]
myvar = pd.Series(a，index=【索引】)
print(myvar[1])
字典：
import pandas as pd
sites = {1: "Google", 2: "Runoob", 3: "Wiki"}
myvar = pd.Series(sites)
print(myvar)
如果我们只需要字典中的一部分数据，只需要指定需要数据的索引即可

设置名称参数

import pandas as pd
sites = {1: "Google", 2: "Runoob", 3: "Wiki"}
myvar = pd.Series(sites, index = [1, 2], name="RUNOOB-Series-TEST" )
print(myvar)

3.DataFrame

DataFrame 是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值）。DataFrame 既有行索引也有列索引，它可以被看做由 Series 组成的字典（共同用一个索引）

3.1构造方法

pandas.DataFrame( data, index, columns, dtype, copy)

data：一组数据(ndarray、series, map, lists, dict 等类型)。
index：索引值，或者可以称为行标签。
columns：列标签，默认为 RangeIndex (0, 1, 2, …, n)
dtype：数据类型。
copy：拷贝数据，默认为 False

创建列表

列表
import pandas as pd
data = [['Google',10],['Runoob',12],['Wiki',13]]
df = pd.DataFrame(data,columns=['Site','Age'],dtype=float)
print(df)
字典：
import pandas as pd
data = [{'a': 1, 'b': 2},{'a': 5, 'b': 10, 'c': 20}]
df = pd.DataFrame(data)
print (df)
没有对应的部分数据为 NaN。

返回指定行的数据

df = pd.DataFrame(data)
print (df)
df.loc[0]
df.loc[[0,1]]

指定索引

df = pd.DataFrame(data, index = ["day1", "day2", "day3"])
df.loc["day1"]

4.csv文件

CSV（Comma-Separated Values，逗号分隔值，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。

CSV 是一种通用的、相对简单的文件格式，被用户、商业和科学广泛应用。

方法

read_csv(“xx.scv”)
读文件

df.to_string()
to_string() 用于返回 DataFrame 类型的数据，如果不使用该函数，则输出结果为数据的前面 5 行和末尾 5 行，中间部分以 ... 代替。

# 保存 dataframe
df.to_csv('site.csv')
我们也可以使用 to_csv() 方法将 DataFrame 存储为 csv 文件：

数据处理

df.head()
读取前面n行 默认是5
df.head(10)

df.tail()
读取末尾5行
df.tail（10）

df.info()
返回表格信息

5.json

import pandas as pd

df = pd.read_json('sites.json')
   
print(df.to_string())
to_string() 用于返回 DataFrame 类型的数据，我们也可以直接处理 JSON 字符串。

字典转化成json

import pandas as pd


# 字典格式的 JSON                                                                                              
s = {
    "col1":{"row1":1,"row2":2,"row3":3},
    "col2":{"row1":"x","row2":"y","row3":"z"}
}

# 读取 JSON 转为 DataFrame                   
df = pd.DataFrame(s)
print(df)

展平数据

pd.json_normalize(data, record_path =['students'])
 使用了参数 record_path 并设置为 ['students'] 用于展开内嵌的 JSON 数据 students。

标签：df,Series,DataFrame,pd,data,pandas
来源： https://blog.csdn.net/weixin_47399833/article/details/119462463