标签：Name Zhang NaN df1 df2 Task06 连接 San

一、关系型连接

连接中有两个基本的要素：键和连接形式

键表示两张表根据什么来连接，比如企业员工的各类信息表根据员工ID号会汇总，那这时候员工ID号就是键了，键可以是一个也可以是一组

连接形式分为：左连接、右连接、内连接、外连接。左连接表示以调用的表为主，被调用表中存在调用表的键就合并到调用表中，否则则处理为缺失值；右连接和左连接相反；内连接负责合并两边都出现的键；外连接将两张表合并，又称全连接

pandas给了两种关系型连接函数merge和join，前一种用于值连接，后一种用于索引连接。对于上面的两个要素，这两个函数提供了参数on来指定一个或多个键，参数how来指定连接形式

1.merge

举个简单的使用场景：

df1 = pd.DataFrame({'Name':['San Zhang'，'Si Li'],
                    'Age':[21,20],)
df2 = pd.DataFrame({'Name':['Si Li','Wu Wang'],
					'Gender':['F','M']})
df1.merge(df2,on='Name',how='left')
## 结果
        Name  Age Gender
0  San Zhang   20    NaN
1      Si Li   30      F

当两个表中的列不具备相同的列名，通过left_on和right_on指定

如果两个表中的列出现了重复的列名，该列名又不是连接的键，那么可以通过suffixes参数指定后缀，例子如下：

df1 = pd.DataFrame({'Name':['San Zhang'],'Grade':[70]})
df2 = pd.DataFrame({'Name':['San Zhang'],'Grade':[80]})
df1.merge(df2, on='Name', how='left', suffixes=['_Chinese','_Math'])
 
        Name  Grade_Chinese  Grade_Math
0  San Zhang             70          80

在某些时候出现重复元素是麻烦的，例如两位同学来自不同的班级，但是姓名相同，这种时候就要指定 on 参数为多个列使得正确连接，例子如下：

df1 = pd.DataFrame({'Name':['San Zhang', 'San Zhang'],
                    'Age':[20, 21],
                    'Class':['one', 'two']})
df2 = pd.DataFrame({'Name':['San Zhang', 'San Zhang'],
                    'Gender':['F', 'M'],
                    'Class':['two', 'one']})
df1

        Name  Age Class
0  San Zhang   20   one
1  San Zhang   21   two

df2

        Name Gender Class
0  San Zhang      F   two
1  San Zhang      M   one

df1.merge(df2, on='Name', how='left')
## 错误的结果
        Name  Age Class_x Gender Class_y
0  San Zhang   20     one      F     two
1  San Zhang   20     one      M     one
2  San Zhang   21     two      F     two
3  San Zhang   21     two      M     one

df1.merge(df2, on=['Name', 'Class'], how='left')
## 正确的结果
        Name  Age Class Gender
0  San Zhang   20   one      M
1  San Zhang   21   two      F

上面在指定Name为键时显然是一个多对多的关系：df1中多个张三对应了df2中的多个张三，而指定Name和Age后两张表就构成一对一的连接关系了

merge函数提供了validate参数来检查连接的模式：1:m、1:1、m:1，如果不是这个模式的话就会报错

练一练

上面以多列为键的例子中，错误写法显然是一种多对多连接，而正确写法是一对一连接，请修改原表，使得以多列为键的正确写法能够通过 validate='1:m' 的检验，但不能通过 validate='m:1' 的检验。

df1 = pd.DataFrame({'Name':['San Zhang'],
                    'Age':[21],
                    'Class':['one']})
df2 = pd.DataFrame({'Name':['San Zhang', 'San Zhang','San Zhang'],
                    'Gender':['F', 'M','F'],
                    'Class':['two', 'one','one']})
df1.merge(df2,on=['Name','Class'],how='left',validate='m:1')

## 结果
MergeError: Merge keys are not unique in right dataset; not a many-to-one merge

1:m成功通过

2.join

join函数用于索引连接，和merge不同的是，这是针对索引的，并且也不需要指定那么多参数，即使是多级索引也是如此，除了必须的 on 和 how 之外，可以对重复的列指定左右后缀 lsuffix 和 rsuffix 。其中， on 参数指索引名，单层索引时省略参数表示按照当前索引连接。

用法和上面merge大通小异，例子这里不再介绍

二、方向连接

1.concat

有时候我们并不关心用哪一列作为键来进行合并，我们只想要单纯的将两个表进行拼接，那这时候就可以使用concat函数了

concat函数常用的有三个参数： axis, join, keys ，分别表示

• 拼接方向，axis=0表示纵向拼接，axis=1表示横向拼接
• 连接形式（默认join=outer表示保留所有的列，join=inner表示保留两个表都出现过的列）
• 原表数据按照keys的值建立索引放入新表中（让用户明白哪些数据来自哪张表）

concat常用语多个字段或者特征的拼接

2.序列与表的合并

如果想把序列添加至表的行末或者列末，则可以分别使用append和assign方法

在 append 中，如果原表是默认整数序列的索引，那么可以使用 ignore_index=True 对新序列对应索引的自动标号，否则必须对 Series 指定 name 属性。

df1.set_index('Name')
s = pd.Series(['Wu Wang', 22], index=df1.columns)
df1.append(s)
## 出现错误
Can only append a Series if ignore_index=True or if the Series has a name

s = pd.Series(['Wu Wang', 22], index=df1.columns, name='Name')
df1.append(s)
## 结果
		Name		Age
0		San Zhang	20
1		Si Li		21
Name	Wu Wang		22

对于 assign 而言，虽然可以利用其添加新的列，但一般通过 df['new_col'] = ... 的形式就可以等价地添加新列。同时，使用 [] 修改的缺点是它会直接在原表上进行改动，而 assign 返回的是一个临时副本：

s = pd.Series([80, 90])
df1.assign(Grade=s)
        Name  Age  Grade
0  San Zhang   20     80
1      Si Li   21     90

三、类连接操作

这部分课件中已经很清晰的描述了，我这里就不再画蛇添足，直接copy了

1.比较

compare 是在 1.1.0 后引入的新函数，它能够比较两个表或者序列的不同处并将其汇总展示：

compare 是在 1.1.0 后引入的新函数，它能够比较两个表或者序列的不同处并将其汇总展示：

In [49]: df1 = pd.DataFrame({'Name':['San Zhang', 'Si Li', 'Wu Wang'],
   ....:                         'Age':[20, 21 ,21],
   ....:                         'Class':['one', 'two', 'three']})
   ....: 

In [50]: df2 = pd.DataFrame({'Name':['San Zhang', 'Li Si', 'Wu Wang'],
   ....:                         'Age':[20, 21 ,21],
   ....:                         'Class':['one', 'two', 'Three']})
   ....: 

In [51]: df1.compare(df2)
Out[51]: 
    Name         Class       
    self  other   self  other
1  Si Li  Li Si    NaN    NaN
2    NaN    NaN  three  Three

结果中返回了不同值所在的行列，如果相同则会被填充为缺失值 NaN ，其中 other 和 self 分别指代传入的参数表和被调用的表自身。

如果想要完整显示表中所有元素的比较情况，可以设置 keep_shape=True ：

In [52]: df1.compare(df2, keep_shape=True)
Out[52]: 
    Name         Age        Class       
    self  other self other   self  other
0    NaN    NaN  NaN   NaN    NaN    NaN
1  Si Li  Li Si  NaN   NaN    NaN    NaN
2    NaN    NaN  NaN   NaN  three  Three

2.组合

combine 函数能够让两张表按照一定的规则进行组合，在进行规则比较时会自动进行列索引的对齐。对于传入的函数而言，每一次操作中输入的参数是来自两个表的同名 Series ，依次传入的列是两个表列名的并集，例如下面这个例子会依次传入 A,B,C,D 四组序列，每组为左右表的两个序列。同时，进行 A 列比较的时候， s1 指代的就是一个全空的序列，因为它在被调用的表中并不存在，并且来自第一个表的序列索引会被 reindex 成两个索引的并集。具体的过程可以通过在传入的函数中插入适当的 print 方法查看。

简单解释一下：首先是会进行索引的对其，比如df1中是0,1索引，df2中是1,2索引，那么传入函数的序列就是0,1,2索引，没有该索引的行填充nan，再比如df1中存在A列，df2中不存在A列，那么函数中第一次调用会传入一个df1中的A列和一个Name为A，值为Nan的序列

In [53]: def choose_min(s1, s2):
   ....:     s2 = s2.reindex_like(s1)
   ....:     res = s1.where(s1<s2, s2)
   ....:     res = res.mask(s1.isna()) # isna表示是否为缺失值，返回布尔序列
   ....:     return res
   ....: 

In [54]: df1 = pd.DataFrame({'A':[1,2], 'B':[3,4], 'C':[5,6]})

In [55]: df2 = pd.DataFrame({'B':[5,6], 'C':[7,8], 'D':[9,10]}, index=[1,2])

In [56]: df1.combine(df2, choose_min)
Out[56]: 
    A    B    C   D
0 NaN  NaN  NaN NaN
1 NaN  4.0  6.0 NaN

练一练

请在上述代码的基础上修改，保留 df2 中4个未被 df1 替换的相应位置原始值。

用s2去替换s1即可

def choose_min(s1, s2):
    s2 = s2.reindex_like(s1)
    res = s2.mask(s1<s2, s1)
    res = res.mask(s2.isna()) # isna表示是否为缺失值，返回布尔序列
    return res

此外，设置 overtwrite 参数为 False 可以保留 被调用表 中未出现在传入的参数表中的列，而不会设置未缺失值：

In [57]: df1.combine(df2, choose_min, overwrite=False)
Out[57]: 
     A    B    C   D
0  1.0  NaN  NaN NaN
1  2.0  4.0  6.0 NaN
2  NaN  NaN  NaN NaN

四、练习

Ex1：美国疫情数据集

现有美国4月12日至11月16日的疫情报表，请将 New York 的 Confirmed, Deaths, Recovered, Active 合并为一张表，索引为按如下方法生成的日期字符串序列：

In [61]: date = pd.date_range('20200412', '20201116').to_series()

In [62]: date = date.dt.month.astype('string').str.zfill(2
   ....:        ) +'-'+ date.dt.day.astype('string'
   ....:        ).str.zfill(2) +'-'+ '2020'
   ....: 

In [63]: date = date.tolist()

In [64]: date[:5]
Out[64]: ['04-12-2020', '04-13-2020', '04-14-2020', '04-15-2020', '04-16-2020']

答案：

dates = pd.date_range('20200412', '20201116').to_series()
dates = dates.dt.month.astype('string').str.zfill(2) +'-'+ dates.dt.day.astype('string').str.zfill(2) +'-'+ '2020'
dates = dates.tolist()

res = pd.DataFrame(columns=(df.columns))
res['Date'] = ''
for date in dates:
    df = pd.read_csv('data/us_report/' + date + '.csv')
    temp = df.loc[df['Province_State'] == 'New York']
    temp = temp.assign(Date=date)
    res = pd.concat([res,temp])

res = res[['Confirmed','Deaths','Recovered','Active','Date']]
res.set_index('Date').head()
## 结果如下表

	Confirmed	Deaths	Recovered	Active
Date
04-12-2020	189033	9385	23887.0	179648
04-13-2020	195749	10058	23887.0	185691
04-14-2020	203020	10842	23887.0	192178
04-15-2020	214454	11617	23887.0	202837
04-16-2020	223691	14832	23887.0	208859

Ex2：实现join函数

请实现带有 how 参数的 join 函数

• 假设连接的两表无公共列
• 调用方式为 join(df1, df2, how="left")
• 给出测试样例

标签：Name,Zhang,NaN,df1,df2,Task06,连接,San
来源： https://blog.csdn.net/qq_35207196/article/details/111938036

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。