标签：loss plt pred 模型 dy 梯度 线性 易懂 size
本次代码学习参考深度学习框架PyTorch入门与实践（陈云）
模拟线性回归
代码部分
import torch as t
%matplotlib inline
from matplotlib import pyplot as plt
from IPython import display
#设置随机数种子，保证在不同计算机上运行时下面的输出一致
t.manual_seed(1000)
#传入参数：一个批次的数据量大小
def get_fake_data(batch_size=8):
'''产生随机数据：y=x*2+3,加上了一些噪声'''
x=t.rand(batch_size,1)*20
y=x*2+(1+t.randn(batch_size,1))*3
return x,y
x,y=get_fake_data()#调用生成数据的函数
plt.scatter(x.squeeze().numpy(),y.squeeze().numpy())#显示数据的分布
#打印查看数据
print('x:\n',x)
print('y:\n',y)
#调试
#import pdb
#pdb.set_trace()
#随机初始化参数
w=t.rand(1,1) #权重
b=t.zeros(1,1) #偏置
lr=0.001 #学习率
for ii in range(2000):
x,y=get_fake_data() #生成每次训练的数据
#forward:计算loss
y_pred=x.mm(w)+b.expand_as(y) #根据当前得到的w和b计算得出预期的y,
'''x.mm(w)是矩阵相乘运算,
w.size(): torch.Size([1, 1])
x.size(): torch.Size([8, 1])'''
loss=0.5*(y_pred-y)**2 #均方误差做损失函数
loss=loss.sum()
#backward:手动计算梯度
dloss=1
dy_pred=dloss*(y_pred-y)
dw=x.t().mm(dy_pred) #x.t()是求矩阵的转置
db=dy_pred.sum()
#更新参数，梯度下降法
w.sub_(lr*dw)
b.sub_(lr*db)
if ii%200 == 0:
#画图
print('训练轮次:{}\t,w:{:.3f}\t,b:{:.3f}'.format(ii,w.squeeze().item(),b.squeeze().item()))#打印w，b的值,
'''sequeeze()-降维：删去一个张量中所有长度为1的维度,
item方法是得到只有一个元素张量里面的元素值。
'''
'''这里就显示最后一个图像的结果'''
#display.clear_output(wait=True)#清空之前画图
x=(t.arange(0,20).view(-1,1)).float()#生成x的取值，这里是0~19，
y=x.mm(w)+b.expand_as(x)#生成对应的y值
plt.plot(x.numpy(),y.numpy())#预测，输出根据当前w，b计算得到的预测值
x2,y2=get_fake_data(batch_size=20)#随机生成真实数据
plt.scatter(x2.numpy(),y2.numpy())
plt.xlim(0,20)
plt.ylim(0,41)
plt.show()
plt.pause(1)#显示暂停一段时间
print('最后的w:{:.3f},b:{:.3f}'.format(w.squeeze().item(),b.squeeze().item()))#打印w，b的值,
理论部分
关于本模型的前向计算和反向传播
#forward:计算loss
y_pred=x.mm(w)+b.expand_as(y) #根据当前得到的w和b计算得出预期的y,
loss=0.5*(y_pred-y)**2 #均方误差做损失函数
loss=loss.sum()
#backward:手动计算梯度
dloss=1
dy_pred=dloss*(y_pred-y)
dw=x.t().mm(dy_pred) #x.t()是求矩阵的转置
db=dy_pred.sum()
#更新参数，梯度下降法
w.sub_(lr*dw)
b.sub_(lr*db)
大概的一个数学思路（不太严谨）：
梯度下降法
关于梯度下降法这里就不过多赘述，可以参考这篇博文梯度下降算法原理讲解——机器学习
标签：loss,plt,pred,模型,dy,梯度,线性,易懂,size 来源： https://blog.csdn.net/weixin_43971752/article/details/122437826
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。