标签：太初 服务 MINDIR ModelArts 模型 推理 代码 紫东
- 零、项目背景
- 需要在ModelArts上部署微调后的下游任务推理服务。
- 主要踩坑点：
- 一、环境准备
- MindSpore 1.6.1
- Docker 20.10.17
- 紫东太初模型代码
https://gitee.com/mindspore/omni-perception-pretrainer - ckpt权重文件
- ModelArts账号
- 二、模型转换
-
1.参照测试代码初始化模型并加载ckpt
-
2.使用MindSpore.export(net, *inputs, filename=“***”, file_format=“MINDIR”)导出MINDIR模型
模型格式：当前版本AIR和ONNX均有单网络2G的模型大小限制，目前采用MINDIR进行在线推理。（MINDIR对于超过2G的模型会自动进行切分）
-
- 三、编写推理服务代码
- 使用Flask部署服务，代码参考
https://gitee.com/HUAWEI-ASCEND/mindxsdk-mxfoundationmodel/tree/master/fm/reference/deploy - 模型推理部分代码
代码参考同上，需要注意在初始化的时候异步加载模型，避免ModelArts拉起服务时模型加载超时导致异常退出。
- 使用Flask部署服务，代码参考
- 四、制作推理服务镜像
- 参考同上
- 五、ModelArts镜像上传部署
- 步骤参考ModelArts文档，需要注意需在日志报Warm Up Success后才可正常使用服务，否则有可能超时或服务异常退出。
标签：太初,服务,MINDIR,ModelArts,模型,推理,代码,紫东 来源： https://www.cnblogs.com/skytier/p/16485229.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。