ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

Python-sklearn包中StratifiedKFold和KFold生成交叉验证数据集的区别

2020-04-15 11:55:33  阅读:369  来源: 互联网

标签:包中 StratifiedKFold splits KFold 标签 Train test


一、StratifiedKFold及KFold主要区别及函数参数
KFold交叉采样:将训练/测试数据集划分n_splits个互斥子集,每次只用其中一个子集当做测试集,剩下的(n_splits-1)作为训练集,进行n_splits次实验并得到n_splits个结果。
注:对于不能均等分的数据集,前n_samples%n_spllits子集拥有n_samples//n_spllits+1个样本,其余子集都只有n_samples//n_spllits个样本。(例10行数据分3份,只有一份可分4行,其他均为3行)

1 sklearn.model_selection.KFold(n_splits=3,shuffle=False,random_state=None)

n_splits:表示将数据划分几等份
shuffle:在每次划分时,是否进行洗牌
若为False,其效果相当于random_state为整数(含零),每次划分的结果相同
若为True,每次划分的结果不一样,表示经过洗牌,随机取样的
random_state:随机种子数,当设定值(一般为0)后可方便调参,因为每次生成的数据集相同

StratifiedKFold分层采样,用于交叉验证:与KFold最大的差异在于,StratifiedKFold方法是根据标签中不同类别占比来进行拆分数据的。

sklearn.model_selection.StratifiedKFold(n_splits=3,shuffle=False,random_state=None)

  参数含义同KFold。

 二、实例分析两者差别
首先生成8行数据(含特征和标签数据)

 1 import numpy as np
 2 from sklearn.model_selection import StratifiedKFold,KFold
 3 
 4 X=np.array([
 5     [1,2,3,4],
 6     [11,12,13,14],
 7     [21,22,23,24],
 8     [31,32,33,34],
 9     [41,42,43,44],
10     [51,52,53,54],
11     [61,62,63,64],
12     [71,72,73,74]
13 ])
14  
15 y=np.array([1,1,0,0,1,1,0,0])

利用KFold方法交叉采样:按顺序分别取第1-2、3-4、5-6和7-8的数据

#按顺序分别取第1-2、3-4、5-6和7-8的数据。
kfolder = KFold(n_splits=4,random_state=1)
for train, test in kfolder.split(X,y):
    print('Train: %s | test: %s' % (train, test),'\n')
>>>
Train: [2 3 4 5 6 7] | test: [0 1]
Train: [0 1 4 5 6 7] | test: [2 3]
Train: [0 1 2 3 6 7] | test: [4 5]
Train: [0 1 2 3 4 5] | test: [6 7]

利用StratifiedKFold方法分层采样:依照标签的比例来抽取数据,本案例集标签0和1的比例是1:1,因此在抽取数据时也是按照标签比例1:1来提取的

 1 #依照标签的比例来抽取数据,本案例集标签0和1的比例是1:1
 2 #因此在抽取数据时也是按照标签比例1:1来提取的
 3 sfolder = StratifiedKFold(n_splits=4,random_state=0)
 4 for train, test in sfolder.split(X,y):
 5     print('Train: %s | test: %s' % (train, test))
 6 >>>
 7 Train: [1 3 4 5 6 7] | test: [0 2]
 8 Train: [0 2 4 5 6 7] | test: [1 3]
 9 Train: [0 1 2 3 5 7] | test: [4 6]
10 Train: [0 1 2 3 4 6] | test: [5 7]

————————————————
版权声明:本文为CSDN博主「ckSpark」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/MsSpark/article/details/84455402

标签:包中,StratifiedKFold,splits,KFold,标签,Train,test
来源: https://www.cnblogs.com/zb-ml/p/12704218.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有