libtorch1.5加载lstmFC.pt模型到cuda:1,报错

2022-06-15 20:31:52 阅读：167 来源： 互联网

标签：__ pt self torch lstmFC 报错 zeros lstm size

1、情景

　　pytorch的模型，torch.jit.trace转换成pt文件

　　然后通过C++加载调用模型；

2、报错内容：

terminate called after throwing an instance of 'std::runtime_error'
  what():  Input and hidden tensors are not at the same device, found input tensor at cuda:1 and hidden tensor at cuda:0
The above operation failed in interpreter.
Traceback (most recent call last):
Serialized   File "code/__torch__/models.py", line 20
    _4 = self.dense2
    _5 = self.dense1
    _6 = torch.slice((self.lstm).forward(input, ), 0, 0, 9223372036854775807, 1)
                      ~~~~~~~~~~~~~~~~~~ <--- HERE
    lstm_out = torch.slice(torch.select(_6, 1, -1), 1, 0, 9223372036854775807, 1)
    input0 = torch.cat([lstm_out, x], -1)
/root/anaconda3/envs/pytorch_1.5.1_cu92/lib/python3.8/site-packages/torch/nn/modules/rnn.py(569): forward
/root/anaconda3/envs/pytorch_1.5.1_cu92/lib/python3.8/site-packages/torch/nn/modules/module.py(534): _slow_forward
/root/anaconda3/envs/pytorch_1.5.1_cu92/lib/python3.8/site-packages/torch/nn/modules/module.py(548): __call__
/data/models.py(24): forward
/root/anaconda3/envs/pytorch_1.5.1_cu92/lib/python3.8/site-packages/torch/nn/modules/module.py(534): _slow_forward
/root/anaconda3/envs/pytorch_1.5.1_cu92/lib/python3.8/site-packages/torch/nn/modules/module.py(548): __call__
/root/anaconda3/envs/pytorch_1.5.1_cu92/lib/python3.8/site-packages/torch/jit/__init__.py(1027): trace_module
/root/anaconda3/envs/pytorch_1.5.1_cu92/lib/python3.8/site-packages/torch/jit/__init__.py(873): trace
pth_to_pt.py(48): pth_topt
pth_to_pt.py(68): <module>
Serialized   File "code/__torch__/torch/nn/modules/rnn.py", line 16, in forward
    max_batch_size = ops.prim.NumToTensor(torch.size(input, 0))
    hx = torch.zeros([1, int(max_batch_size), 128], dtype=6, layout=0, device=torch.device("cuda:0"), pin_memory=False)
    lstm_out, _4, _5 = torch.lstm(input, [hx, hx], [_3, _2, _1, _0], True, 1, 0., False, False, True)
                       ~~~~~~~~~~ <--- HERE
    return lstm_out

Aborted (core dumped)

3、原因&解决方式

　　lstm的隐藏全零输入hx，在初始化的时候，没有导入到cuda1（该版本不支持）；

class XXModule(nn.Module):
　　def __init__(self):
　　　　...
　　　　self.lstm = nn.LSTM()
　　　　# layers * num_directions, max_batch_size, hidden_size
　　　　self.zeros = Parameter(torch.zeros(1 * 1, max_batch_size, hidden_size, dtype=torch.float))
　　def forward(z):
　　　　lstm_out, (h_n, _) = self.lstm(z, hx=(self.zeros[:, :z.shape[0], :], self.zeros[:, :z.shape[0], :]))
　　　　....
　　　　out = ...
　　　　return argmax(out)

标签：__,pt,self,torch,lstmFC,报错,zeros,lstm,size
来源： https://www.cnblogs.com/xiaoniu-666/p/16379713.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

libtorch1.5加载lstmFC.pt模型到cuda:1,报错