标签:python pandas match time-series multi-index
虽然这可能听起来像统计问题,但请耐心等待.
我在不同采样位置采集的水样中有几种钙浓度.每月,每年,每隔一年在一些车站对水进行重新采样.
我想用Lindsey和Rupert(http://pubs.usgs.gov/sir/2012/5049/)进行的Wilcoxon-Pratt符号秩检验来测量各组站点钙浓度的年度和年代际变化.为了进行测试,我想创建一对数据,这些数据以一年(时间差为365天)或尽可能接近该时间范围分隔.配对测量应该具有相同的月份,只是不同的年份.我每个站每月只需要一对.我不希望平均样本浓度相同的站点,月份和年份.
以下是我的数据示例:
https://raw.githubusercontent.com/inkenbrandt/IPython/master/Calcium_Samples.csv
SampleLocation CalciumConc_mgL
SampleDate
10/1/1947 0:00 USGS-09382000 66.0
10/15/1947 0:00 USGS-09382000 132.0
1/1/1948 0:00 USGS-09382000 130.0
1/15/1948 0:00 USGS-09382000 98.0
5/1/1948 0:00 USGS-09382000 82.0
5/15/1948 0:00 USGS-09382000 53.0
6/1/1948 0:00 USGS-09382000 142.0
9/1/1948 0:00 USGS-09382000 107.0
9/15/1948 0:00 USGS-09382000 59.0
10/1/1948 0:00 USGS-09382000 106.0
10/15/1948 0:00 USGS-09382000 102.0
5/15/1949 0:00 USGS-09382000 59.0
6/1/1949 0:00 USGS-09382000 50.0
6/15/1949 0:00 USGS-09382000 161.0
9/1/1949 0:00 USGS-09382000 82.0
9/15/1949 0:00 USGS-09382000 376.0
10/1/1949 0:00 USGS-09382000 210.0
10/15/1949 0:00 USGS-09382000 131.0
1/1/1950 0:00 USGS-09382000 132.0
... ... ...
9/20/1947 0:00 USGS-09288500 59.0
9/20/1947 0:00 USGS-09288500 59.0
6/9/1948 0:00 USGS-09288500 51.0
6/9/1948 0:00 USGS-09288500 51.0
9/29/1948 0:00 USGS-09288500 51.0
9/29/1948 0:00 USGS-09288500 51.0
9/10/1949 0:00 USGS-09288500 40.0
5/19/1941 0:00 USGS-09295000 33.0
6/16/1941 0:00 USGS-09295000 3.4
5/11/1947 0:00 USGS-09295000 42.0
6/22/1947 0:00 USGS-09295000 32.0
9/20/1947 0:00 USGS-09295000 97.0
6/9/1948 0:00 USGS-09295000 37.0
9/29/1948 0:00 USGS-09295000 126.0
9/10/1949 0:00 USGS-09295000 93.0
[429 rows x 2 columns]
我想生成一个看起来像这样的Pandas数据帧:
SampleLocation SampleDate1 CaConc1 SampleDate2 CaConc2
USGS-09382000 10/1/1947 0:00 66.0 10/1/1948 0:00 106.0
USGS-09382000 10/15/1947 0:00 132.0 10/15/1948 0:00 102.0
USGS-09382000 5/15/1948 0:00 53.0 5/15/1949 0:00 59.0
... ... ... ... ...
USGS-09288500 9/20/1947 0:00 59.0 9/29/1948 0:00 51.0
我相信可以使用Pandas中的多索引功能来解决这个问题.到目前为止,我已经查看了以下stackoverflow问题,以帮助匹配日期和使用索引进行操作:
> How to get the closest single row after a specific datetime index using Python Pandas
> Pandas: how to plot yearly data on top of each other
我认为第二个链接使用取消堆栈的多索引非常接近,如果我愿意聚合,我可以执行此操作,但我试图避免这种情况.
该技术与其他想要分析具有季节性趋势的数据的人相关,例如比较当前或接近同一天的流量排放或累积降水或温度.
解决方法:
这种方法有点乱,但我试图让它更加健壮,以解决丢失的数据.
首先,我们将删除数据中的重复项,然后将日期转换为Pandas时间戳:
df = df.drop_duplicates()
df.SampleDate = [pd.Timestamp(ts) for ts in df.SampleDate]
然后让我们安排你的DataFrame,以便它在一组唯一的日期上编入索引(列将是位置ID):
df2 = df.pivot_table(values='CalciumConc_mgL',
index='SampleDate',
columns='SampleLocation').ffill()
我已经填写了这些值以使结果更加健壮.您可能希望限制可能向前填充的天数(例如.ffill(limit = 30)).
现在我们可以将此DataFrame转换365个日期:
df2_lagged = df2.shift(365)
堆叠df2和df2_lagged的SampleLocation:
df2 = pd.DataFrame(df2.stack('SampleLocation', dropna=False))
df2_lagged = df2_lagged.stack('SampleLocation', dropna=False)
现在将滞后数据合并到df2. DataFrames具有完全相同的结构,因此您只需复制值:
df2['lagged_val'] = df2_lagged
最后,交换位置和日期并重命名列:
result = df2.swaplevel(0, 1)
result.columns = ['CalciumConc_mgL', 'CalciumConc_mgL_lagged_12m']
使用60天滞后的样本数据:
>>> result
result.tail(10)
CalciumConc_mgL CalciumConc_mgL_lagged_12m
SampleLocation SampleDate
USGS-421548113205301 1950-01-01 59 59
USGS-422818113225801 1950-01-01 59 NaN
USGS-423200113472601 1950-01-01 33 33
USGS-424006113355301 1950-01-01 62 54
USGS-424142113340901 1950-01-01 54 54
USGS-424348113242701 1950-01-01 40 NaN
USGS-424431113412301 1950-01-01 46 NaN
USGS-424511113291401 1950-01-01 38 38
USGS-424518113282002 1950-01-01 39 39
USGS-424659113433701 1950-01-01 39 39
并只是索引位置ID:
result = result.reset_index().set_index('SampleLocation')
>>> result.loc['USGS-09402500', :]
CalciumConc_mgL CalciumConc_mgL_lagged_12m
SampleDate
1941-05-18 NaN NaN
1941-05-19 NaN NaN
1941-06-16 NaN NaN
1941-10-01 102 NaN
1941-10-12 132 NaN
1941-10-21 119 NaN
1943-09-18 110 NaN
1943-10-01 138 NaN
1943-10-11 140 NaN
1943-10-12 140 NaN
1943-10-14 140 NaN
1943-10-21 156 NaN
1944-01-01 116 NaN
1944-01-11 126 NaN
1944-01-13 126 NaN
1944-01-21 133 NaN
1944-05-01 84 NaN
1944-05-11 84 NaN
1944-05-13 66 NaN
1944-05-15 66 NaN
1944-05-16 66 NaN
1944-05-21 57 NaN
1944-05-22 57 NaN
1944-06-01 58 NaN
1944-06-11 57 NaN
1944-06-21 57 NaN
1944-09-01 134 NaN
1944-09-11 122 NaN
1944-09-15 122 NaN
1944-09-18 122 NaN
... ... ...
1949-05-03 63 62
1949-05-11 63 62
1949-05-15 63 62
1949-05-21 57 62
1949-06-01 58 133
1949-06-09 58 128
1949-06-10 58 128
1949-06-11 74 128
1949-06-12 74 128
1949-06-13 74 124
1949-06-15 74 112
1949-06-21 67 123
1949-06-23 67 123
1949-06-30 67 123
1949-09-01 142 123
1949-09-09 142 123
1949-09-10 142 131
1949-09-11 140 106
1949-09-15 140 108
1949-09-21 146 108
1949-09-28 146 102
1949-10-01 156 102
1949-10-11 153 102
1949-10-13 153 68
1949-10-14 153 68
1949-10-15 153 63
1949-10-21 152 63
1949-10-27 152 63
1949-10-28 152 63
1950-01-01 128 60
标签:python,pandas,match,time-series,multi-index 来源: https://codeday.me/bug/20190708/1401121.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。