转自：https://towardsdatascience.com/avoid-data-leakage-split-your-data-before-processing-a7f172632b00
https://towardsdatascience.com/data-splitting-for-model-evaluation-d9545cd04a99
1.数据泄露
数据泄漏是指训练数据集和测试数据集之间偶然的信息共享。 这种信息共享将给模型一个关于测试数据集的“提示”，并生成看起来最优的评估分数。 然而，由于模型对测试数据拟合过度，无法准确预测未来未见数据集。
一个比较常见的数据泄露的原因：在数据预处理后才进行训练-测试集的划分。
2.例子
给出由于在数据预处理后才进行训练-测试集的划分，导致数据泄露给测试集的问题。
针对上述训练集，由列1和列2预测target， 如果先对列进行预处理：
列1中Y的值是通过其中有多少个为1的target来替换，即4/6=0.67；列2是按字母顺序编码。
将前7个样本作为训练集，后3个作为测试集，但是从测试集中来看，它能够期望，2个Y，并且其中有一个target为1，这将导致对模型性能的期望过于乐观。
类似地，对于步骤2，第5行的字母' e '被编码为5，因为它理解完整数据集有' a '， ' b '， ' c '和' d '。 这种信息也会在训练和测试数据之间泄露。
2.1解决办法
在预处理之前将数据集划分，这样test集以及未见过的数据都会一视同仁地被处理。
先划分：
再预处理：
这样做的好处是：
- 降低数据泄露风险
- 未来看不见的数据将以与测试数据完全相同的方式处理，从而确保模型性能的一致性。
3.随机划分数据集存在的问题
3.1 不平衡数据集
如果我们随机分割一个包含99%负类和1%正类的数据集，会出现什么问题?
可以通过scikit-learn’s train_test_split()进行分层采样。
3.2 小数据集（有限的数据集）
使用k折交叉验证。
3.3 特征工程泄露
也就是上述提到的例子。
3.4 组泄露Group Leakage
主要是针对train和test中有同个人的样本overlap的情况。
3.5 时序泄露
比如在预测出售的房价时，如果针对数据集随即划分，那么就忽略了时间的因素，可能会导致模型表现比期望更好。
标签：训练,集时,泄露,测试数据,划分,测试,数据,预处理 来源： https://www.cnblogs.com/BlueBlueSea/p/15520765.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。