标签:python pandas dataframe pivot-table reshape
我的数据当前为长格式.下面是一个示例:
Stock Date Time Price Year
AAA 2001-01-05 15:20:09 2.380 2001
AAA 2002-02-23 10:13:24 2.440 2002
AAA 2002-02-27 17:17:55 2.460 2002
BBB 2006-05-13 16:03:49 2.780 2006
BBB 2006-10-04 10:33:10 2.800 2006
我想通过“股票”和“年份”将其重塑为广泛的格式,如下所示:
Stock Year Date1 Time1 Price1 Date2 Time2 Price2
AAA 2001 2001-01-05 15:20:09 2.380
AAA 2002 2002-02-23 10:13:24 2.440 2002-02-27 17:17:55 2.460
BBB 2006 2006-05-13 16:03:49 2.780 2006-10-04 10:33:10 2.800
我尝试过这里发布的解决方案Pandas long to wide reshape,并具有以下功能:
df['idx'] = df.groupby(['Stock', 'Year']).cumcount()
df['date_idx'] = 'date_' + df.idx.astype(str)
df['time_idx'] = 'time_' + df.idx.astype(str)
df['price_idx'] = 'price_' + df.idx.astype(str)
date = df.pivot(index=['Stock', 'Year'], columns='date_idx', values='Date')
time = df.pivot(index=['Stock', 'Year'], columns='time_idx', values='Time')
price = df.pivot(index=['Stock', 'Year'], columns='price_idx', values='Price')
reshape = pd.concat([date, time, price], axis=1)
但是最后一行给我这个错误:
ValueError: Wrong number of items passed 15624, placement implies 2
我的代码哪里出问题了?还是有另一种更清洁的方式来重塑?
解决方法:
我认为您可以使用pivot_table
,但需要一些aggfunc.我首先选择,因为在日期时间中使用默认np.mean存在问题.
解决方法1:
df['idx'] = (df.groupby(['Stock', 'Year']).cumcount() + 1).astype(str)
df1 = (df.pivot_table(index=['Stock', 'Year'],
columns=['idx'],
values=['Date', 'Time', 'Price'],
aggfunc='first'))
df1.columns = [''.join(col) for col in df1.columns]
df1 = df1.reset_index()
print (df1)
Stock Year Date1 Date2 Time1 Time2 Price1 Price2
0 AAA 2001 2001-01-05 None 15:20:09 None 2.38 None
1 AAA 2002 2002-02-23 2002-02-27 10:13:24 17:17:55 2.44 2.46
2 BBB 2006 2006-05-13 2006-10-04 16:03:49 10:33:10 2.78 2.8
然后,您可以将其转换为浮动价格列和to_datetime
日期列:
cols = df1.columns[df1.columns.str.contains('Price')]
df1[cols] = df1[cols].astype(float)
cols = df1.columns[df1.columns.str.contains('Date')]
df1[cols] = df1[cols].apply(pd.to_datetime)
print (df1)
Stock Year Date1 Date2 Time1 Time2 Price1 Price2
0 AAA 2001 2001-01-05 NaT 15:20:09 None 2.38 NaN
1 AAA 2002 2002-02-23 2002-02-27 10:13:24 17:17:55 2.44 2.46
2 BBB 2006 2006-05-13 2006-10-04 16:03:49 10:33:10 2.78 2.80
print (df1.dtypes)
Stock object
Year int64
Date1 datetime64[ns]
Date2 datetime64[ns]
Time1 object
Time2 object
Price1 float64
Price2 float64
溶液2:
df['idx'] = df.groupby(['Stock', 'Year']).cumcount() + 1
df['date_idx'] = 'date_' + df.idx.astype(str)
df['time_idx'] = 'time_' + df.idx.astype(str)
df['price_idx'] = 'price_' + df.idx.astype(str)
date = df.pivot_table(index=['Stock', 'Year'], columns='date_idx', values='Date', aggfunc='first')
time = df.pivot_table(index=['Stock', 'Year'], columns='time_idx', values='Time', aggfunc='first')
price = df.pivot_table(index=['Stock', 'Year'], columns='price_idx', values='Price', aggfunc='first')
reshape = pd.concat([date, time, price], axis=1).reset_index()
print (reshape)
Stock Year date_1 date_2 time_1 time_2 price_1 price_2
0 AAA 2001 2001-01-05 None 15:20:09 None 2.38 NaN
1 AAA 2002 2002-02-23 2002-02-27 10:13:24 17:17:55 2.44 2.46
2 BBB 2006 2006-05-13 2006-10-04 16:03:49 10:33:10 2.78 2.80
标签:python,pandas,dataframe,pivot-table,reshape 来源: https://codeday.me/bug/20191011/1891819.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。