ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

(机器学习)多项式回归 (解决欠拟合问题)

2022-08-01 21:34:37  阅读:146  来源: 互联网

标签:plt 机器 多项式 拟合 xx train poly2 PolynomialFeatures


多项式回归

面对问题

欠拟合

在训练集与测试集都不能获得很好的拟合数据时,认为该假设出现了欠拟合(模型过于简单)

  • 原因:模型学习到样本特征太少

  • 解决:增加样本的特征数量(多项式回归)

过拟合

在训练集上能获得较好拟合,在训练集以外的数据集上却不能很好的拟合数据

  • 原因:原始特征过多,存在一些嘈杂特征

  • 解决:

    • 进行特征选择,消除关联性大的特征(很难)

    • 正则化之岭回归(掌握)

欠拟合

  • 不使用多项式时实验代码

    from sklearn.linear_model import LinearRegression
    import numpy as np
    import matplotlib.pyplot as plt


    # 样本的训练数据,特征和目标值
    x_train = [[6], [8], [10], [14], [18]]  # 大小
    y_train = [[7], [9], [13], [17.5], [18]]  # 大小
    # 一次线性回归的学习与预测y=wx+b
    regressor = LinearRegression()
    test_1 = regressor.fit(x_train, y_train)
    print(test_1)
    # 画出一次线性回归的拟合曲线
    xx = np.linspace(0, 25, 100)
    xx = xx.reshape(-1, 1)
    yy = regressor.predict(xx)
    plt.scatter(x_train, y_train)
    plt.plot(xx, yy)
    plt.show()

    # 得出一条直线

多项式回归

  • 添加高次项特征构造

  • 主要使用工具

PolynomialFeatures

  • 使用sklearn.preprocessing.PolynomialFeatures来进行告辞特征构造

    • 使用多项式的方法来进行,如果有a, b两个特征,那么它的2次多项式为(1, a, b, a^2, ab, b^2 )

    • PolynomialFeatures有三个参数

      • degree:控制多项式的度

      • interaction_only:默认为false,如果指定为trye,那么就不会有特征自己和自己结合的项,上面的二次项中没有a^2和b^2

      • include_bias:默认为true,如果为false,那么就不会有1的一项

from sklearn.preprocessing import PolynomialFeatures

c = [[5, 10]]
p1 = PolynomialFeatures()
b = p1.fit_transform(c)
print(b)


[[  1.   5.  10.  25.  50. 100.]]

Process finished with exit code 0

使用PolynomialFeatures

from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
import numpy as np
import matplotlib.pyplot as plt


# 样本的训练数据,特征和目标值
x_train = [[6], [8], [10], [14], [18]]  # 大小
y_train = [[7], [9], [13], [17.5], [18]]  # 大小
# 使用PolynomialFeatures
poly2 = PolynomialFeatures(degree=2)
x_train_poly2 = poly2.fit_transform(x_train)
# 一次线性回归的学习与预测y=wx+b
regressor_poly2 = LinearRegression()
regressor_poly2.fit(x_train_poly2, y_train)
# 画出一次线性回归的拟合曲线
xx = np.linspace(0, 25, 100)
xx = xx.reshape(-1, 1)
xx_poly2 = poly2.fit_transform(xx)
yy_poly2 = regressor_poly2.predict(xx_poly2)

plt.scatter(x_train, y_train)
plt.plot(xx, yy_poly2, label="Degree2")
plt.show()

# 得出一条曲线

 

 

 

标签:plt,机器,多项式,拟合,xx,train,poly2,PolynomialFeatures
来源: https://www.cnblogs.com/xxdd123321/p/16541891.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有