方差膨胀系数(variance inflation factor，VIF)是衡量多元线性回归模型中复 (多重)共线性严重程度的一种度量。它表示回归系数估计量的方差与假设自变量间不线性相关时方差相比的比值。
多重共线性是指自变量之间存在线性相关关系，即一个自变量可以是其他一个或几个自变量的线性组合。若存在多重共线性，计算自变量的偏回归系数时矩阵不可逆。其表现主要有：整个模型的方差分析结果与各个自变量的回归系数的检验结果不一致，专业判断有统计学意义的自变量检验结果却无意义，自变量的系数或符号与实际情况严重不符等。 检验方法主要有：容忍度(Tolerance)和方差膨胀系数(Variance inflation factor，VIF)。其中最常用的是VIF，计算公式为：
VIF的取值大于1。VIF值越接近于1，多重共线性越轻，反之越重。当多重共线性严重时，应采取适当的方法进行调整 [3] 。容忍度的值界于0至1之间，当容忍度值较小时，表示此自变量与其他自变量之间存在共线性。容忍度这个变量回归系数的估计值不够稳定，则回归系数的计算值也会有很大误差。方差膨胀系数是容忍度的倒数，VIF越大，表示自变量的容忍度越小，越有共线性问题。
通常以10作为判断边界。当VIF<10,不存在多重共线性；当10<=VIF<100,存在较强的多重共线性；当VIF>=100, 存在严重多重共线性。
import numpy as np
from sklearn.linear_model import LinearRegression
coef0=np.array([5,6,7,8,9,10,11,12])
X1=np.random.rand(100,8)
y=np.dot(X1,coef0)+np.random.normal(0,1.5,size=100)
training=np.random.choice([True,False],p=[0.8,0.2],size=100)
lr1=LinearRegression()
lr1.fit(X1[training],y[training])
# 系数的均方误差MSE
print(((lr1.coef_-coef0)**2).sum()/8)
# 测试集准确率（R2）
print(lr1.score(X1[~training],y[~training]))
X2=np.column_stack([X1,np.dot(X1[:,[0,1]],np.array([1,1]))+np.random.normal(0,0.05,size=100)])
X2=np.column_stack([X2,np.dot(X2[:,[1,2,3]],np.array([1,1,1]))+np.random.normal(0,0.05,size=100)])
X3=np.column_stack([X1,np.random.rand(100,2)])
import matplotlib.pyplot as plt
clf=LinearRegression()
vif2=np.zeros((10,1))
for i in range(10):
tmp=[k for k in range(10) if k!=i]
clf.fit(X2[:,tmp],X2[:,i])
vifi=1/(1-clf.score(X2[:,tmp],X2[:,i]))
vif2[i]=vifi
plt.figure()
ax = plt.gca()
ax.plot(vif2)
#ax.plot(vif3)
plt.xlabel('feature')
plt.ylabel('VIF')
plt.title('VIF coefficients of the features')
plt.axis('tight')
plt.show()
标签：共线性,plt,VIF,膨胀系数,X2,np,自变量 来源： https://www.cnblogs.com/liu-304711/p/10945717.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。