1.1 特征工程是什么
特征工程(feature engineering)
将数据转换为能更好地表示潜在问题的特征,从而提高机器学习性能。
Color,Time即是无用的属性
坏属性(冗余属性)的影响
1.模型过拟合
2.时间成本高
1.2 特征工程效果评估
特征工程的效果评估
1.在应用特征工程之前,得到机器学习模型的基准性能;
2.在机器学习流水线中应用一种或多种特征工程;
3.将应用特征工程后的模型性能与基准性能进行对比。
性能的定义随算法的不同而改变,目前有数十种公认的指标
常见的有
评估回归问题的:
k折交叉验证
均方误差
评估无监督学习的:
轮廓系数
1.3定性定量
评分(1~5星) ,是定量还是定性?
➢定量:有4.71星这样的平均分则是定量的。
➢定量:有4.71星这样的平均分则是定量的。定性:讨厌、还行、喜欢、喜爱还是特别喜爱。
定性定量的界限是比较模糊的,所以我们引入数据等级进行细化。
1.4数据的等级
数据的4个等级
➢定类等级(nominal level)
➢定序等级(ordinal level)
➢定距等级(interval level)
➢定比等级(ratio level)
定类等级(nominal level)
➢定类等级是数据的第一个等级,只按名称分类。
➢血型(A、 B、 O和AB型)、性别(男、女)动物物种和人名。
➢可以执行的数学操作:统计众数(频次) 、不能执行任何定量数学操作。
定序等级
➢类别数据,定序等级的数据可以自然排序。
➢李克特量(比如1~10的评分);考试的成绩(F、D、C、B、A)。
➢可以执行的数学操作计数、比较和排序、计算中位数和百分位数
定距等级
➢定量数据,值之间的差异有意义,无绝对零点。
➢例:温度: 32°C, 4°C,可以计算出32 - 4 = 28°C的温差。
➢可以做加减运算,不能做乘除运算。
定比等级
➢定量数据,最高级别的控制和数学运算,有了一个绝对零点的概念,可以做乘除运算
➢如模型准确率、国民生产总值。
算法模型能够处理的都是定比或定距等级的数据(也就是定量的数据)
标签:定量,工程,level,特征,概念,数据,等级 来源: https://www.cnblogs.com/cork/p/15363802.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。