1 相关预备知识 模型：包含了大量参数的一个网络（参数+结构），体积10MB-10GB不等 模型格式：相同的模型可以有不同的存储格式（可类比音视频文件），目前主流有torch、tf、onnx和trt，其中tf又包含了三种格式 模型推理：输入和网络中的参数进行各种运算从而得到一个输出，计算密集型任务且需要GPU加速
简介 Agent 扩展了 Triton 在加载卸载 “模型” 时候的功能。比如可以在加载模型的时候，进行 md5 校验。 agent 的使用非常简单，就在模型的配置文件后面加上以下的配置就好了。对的，就是这么简单。这是英伟达的例子，使用了 checksum agent，在模型加载的时候会校验模型的 md5。md5 可以
Triton Inference Server 定位 在接触了一段时间的 Triton 之后，我认为它的定位在于模型服务，即它的主要职责和服务紧密相关，服务中常见的需求它需要做处理。比如 Batching，Sequence，Pipeline 等，再比如模型仓库的管理，模型后端引擎的管理等，还有性能测试工具等。至于模型部署优化，我觉得
Triton：openai开源GPU编程神器 序言GPU编程的困难编程模型矩阵乘法高级系统架构编译器后端 序言 我们将发布Triton 1.0，这是一种开源的类似Python的编程语言，使没有CUDA经验的研究人员能够编写高效的GPU代码–大多数情况下与专家所能产生的代码相当。Triton使其有可能以相
