标签：scale dynamic tensorrt shape resize 序列化 pool
tensorrt, dynamic shape
1. 前言
tensorrt 不知道在哪个版本开始就支持了dynamic shape，然后以前也没有试过，最近有这个想法，有一定时间就测试了一下。整个过程有助于对tensorrt模型转换，tensorrt引擎推理有更深一步的了解和认识。
2. 不支持的op
这里只是对不支持的op进行梳理。首先tensorrt推理的整体流程是：
- 用
onnx2trt或trtexec或者其他工具进行模型转换，这里已onnx转trt为例。整个过程是首先解析onnx模型，再根据onnx的各个layer和layer的参数创建trt的layer，最后把所有的layer和相关参数构建engine - trt engine序列化，会对所有layer的参数和整个engine的graph进行序列化
- engine反序列化，对前面序列化的模型进行反序列化，这里推测序列化和反序列化应该是用的protobuf
- 推理，最后就是用反序列化的engine进行推理
好像tensorrt最开始是静态图推理框架，后来随着迭代才支持dynamic shape的， 从上面的流程也可以看到，每个layer的参数都是需要固化的， 这就是dynamic shape的时候需要注意的，他并不是像pytorch一样的动态图框架，一些参数是可以在前向推理的时候才给定的。
- ave_pool2d attention
这里是均值池化，一般的均值池化，dynamic shape是支持的，这里是将一个维度的尺寸池化为1，这样tensorrt dynamic就不支持了。因为不同的height图片得到的h是不一样的，所以这里的h不能是固定的，这就和tensorrt的设计思想冲突了。 所以池化为的操作不支持。
q = self.conv1(x)
batchsize, c_middle, h, w = torch.tensor(q.shape[0]).item(),torch.tensor(q.shape[1]).item(),torch.tensor(q.shape[2]).item(),torch.tensor(q.shape[3]).item() #q.size()
q = F.avg_pool2d(q, [h, 1])
- resize(size) 与 resize(scale)
第二个就是resize， resize对应到pytorch中就是interpolate，像这种resize是有两种方式的，1.给定输出的size；2. 给定输出的scale。而要tensorrt支持dynamic shape 需要使用scale的方式。如下所示：
scale = (h / feat32.shape[2], w / feat32.shape[3])
feat32_up = F.interpolate(feat32, scale_factor = scale, mode='nearest')
- 输入尺寸尽量为8/16/32/64的倍数+conv2d(stride=2)
conv2d(stride=2）的功能是实现pool(kernel=2,2)的池化，但是如果尺寸是奇数的时候，如果和上面的interpolate一起使用的时候会有问题，
nn.Conv2d(highres_planes, planes * 4, kernel_size=3, stride=2, padding=1, bias=False),
3. 测试code
…
标签：scale,dynamic,tensorrt,shape,resize,序列化,pool 来源： https://blog.csdn.net/u011622208/article/details/120304656
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。