目录： 一、数据拆分:训练数据集&测试数据集 二、评价回归结果：分类准确度、混淆矩阵、精准率、召回率、F1、ROC等 三、评价回归结果：MSE、RMSE、MAE、RSquared 一、数据拆分:训练数据集&测试数据集 顾名思义，训练数据集即为用于训练模型的子集。测试数据集即为 用于测试训练后模
用sklearn的DecisionTreeClassifer训练模型，然后用roc_auc_score计算模型的auc。代码如下 clf = DecisionTreeClassifier(criterion='gini', max_depth=6, min_samples_split=10, min_samples_leaf=2)clf.fit(X_train, y_train)y_pred = clf.predict_proba(X_test)roc_auc = roc_a
我们都知道机器学习要建模，但是对于模型性能的好坏我们并不知道是怎样的，很可能这个模型就是一个差的模型，对测试集不能很好的预测。那么如何知道这个模型是好是坏呢？必须有个评判的标准，需要用某个指标来衡量，这就是性能度量的意义。有了一个指标，就可以对比不同模型了，从而知道哪个模型
1 accuracy_score：分类准确率分数是指所有分类正确的百分比。分类准确率这一衡量分类器的标准比较容易理解，但是它不能告诉你响应值的潜在分布，并且它也不能告诉你分类器犯错的类型。常常误导初学者：呵呵。 sklearn.metrics.accuracy_score(y_true, y_pred, normalize=True, sample_we
sklearn实战-乳腺癌细胞数据挖掘(博客主亲自录制视频教程，QQ：231469242) https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share https://www.plob.org/article/12476.html（原文链接） 初识R
7.1 分类模型评估 1、二分类 混淆矩阵中对角线的元素代表正确分类的数量； 非对角线元素代表错误分类的数量。 所以最为理想的模型（拿测试集来看），应该是一个对角阵。若无法得到对角阵，对角线上的数字之和如果占统治地位也是可以的。 片面的追求查准率可能会降低召回率 2
分类模型评估： 指标描述Scikit-learn函数 Precision 精准度 from sklearn.metrics import precision_score Recall 召回率 from sklearn.metrics import recall_score F1 F1值 from sklearn.metrics import f1_score Confusion Matrix 混淆矩阵 from sklearn.met
一，只用LR的AUC对比： 1，LR demo： 2，LR one-hot之后： 3，LR + 网格搜索： 二，只用XGBoost的AUC对比（seed都指定为66）： 1，XGBoost demo： 2，XGBoost + 网格搜索（只搜迭代速率）： 3，XGBoost+网格搜索： 4，XGBoost+网格搜索，用模型和用grid进行fit的区别： 5，XGBoost+regress
1.模型选择 根据二分类问题进行模型训练 from sklearn.linear_model import LogisticRegression import pandas as pd import numpy as np from sklearn.neighbors import KNeighborsClassifier from sklearn.linear_model import LogisticRegression from sklearn.svm im
一直在用的结果, 从代码中整理出来. 评分卡模型的结果一般在excel中即可计算完成. 下面是在number中计算评分卡模型的性能(KS/AUC), 表格中百分数省略%
【一】P-R 曲线 定义 ( Y轴 P：Precision 准确率，X轴 R：Recall 召回率 ) F1-score =（2 * P * R）/（P + R） 受 正负样本比例 影响大，当正负样本发生变化时，P-R曲线的形状容易发生剧烈变化，与 ROC 相反 【二】ROC 曲线 Y轴：真阳性率 =（真阳性的数量）/（真阳性的数量 + 伪阴性的数量） X轴：伪
数字时代到来之后，企业经营的各个阶段都可以被记录下来，产品销售的各个环节也被记录下来，客户的消费行为和网上行为都被采集下来。企业拥有了多维度的数据，包括产品销售数据、客户消费数据、客户行为数据、企业运营数据等。拥有数据之后，数据分析成为可能。典型的数据分析案例如沃尔玛啤
先理解一下正类（Positive）和负类（Negetive），比如现在要预测用户是否点击了某个广告链接，点击了才是我们要的结果，这时，点击了则表示为正类，没点击则表示为负类。 TP(True Positive)：被预测成了正类的正类，即正确预测的正类 FP(False Positive)：被预测成了正类的负类 TN(True Nege
ctr预估是工业界做推荐、广告等的基本问题，下面以熟悉的推荐场景为例，目标是提高abtest的线上指标，时长、互动和留存，反应到ctr模型的评估指标，可以是auc，logloss，ngcd等，auc反映了模型区分正负例的能力，auc提高不一定对应到线上指标提示，可能只是对item的预估分更准，对一个user来说排序能力并
对于分类问题，通常根据与分类器相关联的混淆矩阵来定义分类器性能。基于矩阵的条目，可以计算灵敏度（召回），特异性和精确度。 对于二元分类问题，所有这些性能测量都很容易获得。哪种衡量标准取决于分类器的类型。硬分类器是非得分的，因为它们只产生结果。另一方面，软分类器是评分分
接收器操作特性（ROC）曲线可能是评估评分分类器的预测性能的最常用的度量。 预测正类（+1）和负类（-1）的分类器的混淆矩阵具有以下结构： 预测/参考类 +1 -1 +1 TP FP -1 FN TN 这里，TP表示真阳性的数量（模型正确预测正类），FP表示误报的数量（模型错误地预测正类），FN表示假阴性的数量（模型错误地预
我在现有的数据帧上做了k-fold XV,我需要获得AUC分数.问题是 – 有时测试数据只包含0,而不是1！ 我尝试使用this示例,但使用不同的数字： import numpy as np from sklearn.metrics import roc_auc_score y_true = np.array([0, 0, 0, 0]) y_scores = np.array([1, 0, 0, 0]) roc_auc_
调参策略 最大化 off_ks + 0.8(off_ks-train_ks) import pandas as pd from sklearn.metrics import roc_auc_score,roc_curve,auc from sklearn.model_selection import train_test_split from sklearn import metrics from sklearn.linear_model import LogisticRegression impor
评分卡 建立逻辑回归模型 对模型进行评分映射 逻辑回归表达式 \[ y = \frac{1}{1 + e^{-\theta}} \] \[ \theta = WX + B \] sigmoid函数 \[ sigmoid(x) = \frac{1}{1 + e^{-x}} \] sigmoid函数的导数 \[ \delta sigmoid(x) = \delta{\frac{1}{1 + e^{-x}}} = \delta{\fra
接收器操作特性（ROC）曲线可能是评估评分分类器的预测性能的最常用的度量。 预测正类（+1）和负类（-1）的分类器的混淆矩阵具有以下结构： 预测/参考类+1-1 +1 TP FP -1 FN TN 这里，TP表示真阳性的数量（模型正确预测正类），FP表示误报的数量（模型错误地预测正类），FN表示假阴性的数量（模型错误
第1章 机器学习概述1.1 机器学习是啥？1.2 机器学习能干啥？1.3 机器学习有啥？1.4 机器学习怎么用？第2章 机器学习的相关概念2.1 数据集2.2 泛化能力2.3 过拟合和欠拟合2.4 维度、特征2.5 模型2.6 学习第3章 算法常用指标3.1 精确率和召回率3.2 TPR、FPR & TNR3.3 综合评价指标 F-measur
原文地址：https://www.jianshu.com/p/dbbfffd6a5e9 预测（横）实际（纵） + - + tp fn - fp tn 准确率(Accuracy) \[accuracy=\frac{tp+tn}{tp+fp+tn+fn}\] accuracy是最常见也是最基本的评价指标。但是，在二分类且正负样本不平衡的情况下，尤其是对于较少数样本类感兴趣时，accura
select (ry - 0.5*n1*(n1+1))/n0/n1 as aucfrom( select sum(if(y=0, 1, 0)) as n0, --50 sum(if(y=1, 1, 0)) as n1,--100 sum(if(y=1, r, 0)) as ry --100 from( select y, row_number() over(order by s
非均衡数据处理--如何评价？ 什么是非均衡数据？ 这个问题很直观， 就是样本中数据的不同类别的样本的比例相差很大， 一般可以达到 9:1 或者更高。 这种情况其实蛮常见的， 譬如去医院看病的人，最后当场死亡的比例（大部分人还是能活着走出医院的， 所以要对医生好点）。 或者搞大数
ROC 曲线：接收者操作特征曲线(receiver operating characteristic curve)，是反映敏感性和特异性连续变量的综合指标，roc 曲线上每个点反映着对同一信号刺激的感受性。 对于分类器或者说分类算法，评价指标主要有precision，recall，F1 score等，以及这里要讨论的ROC和AUC。下图是一个 ROC 曲线
