标签：tensorflow2 inputs serving linear 30 tf tensorflow name

6-6 使用tensorflow-serving部署模型

TensorFlow训练好的模型以tensorflow原生方式保存成protobuf文件后可以用许多方式部署运行。
例如：通过 tensorflow-js 可以用javascrip脚本加载模型并在浏览器中运行模型。
通过 tensorflow-lite 可以在移动和嵌入式设备上加载并运行TensorFlow模型。
通过 tensorflow-serving 可以加载模型后提供网络接口API服务，通过任意编程语言发送网络请求都可以获取模型预测结果。
通过 tensorFlow for Java接口，可以在Java或者spark(scala)中调用tensorflow模型进行预测。
我们主要介绍tensorflow serving部署模型、使用spark(scala)调用tensorflow模型的方法。

tensorflow serving模型部署概述

使用 tensorflow serving 部署模型要完成以下步骤。

• (1) 准备protobuf模型文件。
• (2) 安装tensorflow serving。
• (3) 启动tensorflow serving 服务。

• (4) 向API服务发送请求，获取预测结果。

import tensorflow as tf
from tensorflow.keras import models, layers, optimizers

# 样本数量
n = 800

# 生成测试用数据集 
X = tf.random.uniform([n, 2], minval=-10, maxval=10)
w0 = tf.constant([[2.0], [-1.0]])
b0 = tf.constant(3.0)

Y = X@w0 + b0 + tf.random.normal([n, 1], mean=0.0, stddev=2.0)  # @表示矩阵乘法,增加正态扰动
# 建立模型
tf.keras.backend.clear_session()
inputs = layers.Input(shape=(2,), name="inputs")  # 设置输入名字为inputs
outputs = layers.Dense(1, name="output")(inputs)  # 设置输出名字为outputs
linear = models.Model(inputs=inputs, outputs=outputs)
linear.summary()

# 使用fit方法进行训练
linear.compile(optimizer="rmsprop", loss="mse", metrics=["mae", "mse"])
linear.fit(X, Y, batch_size=8, epochs=100)

tf.print("w=", linear.layers[1].kernel)
tf.print("b=", linear.layers[1].bias)
# 将模型保存成pb格式文件
export_path = "./data/linear_model/"
version = "1"  # 后续可以通过版本号进行模型版本迭代与管理
linear.save(export_path+version, save_format="tf")

"""
Model: "model"
_________________________________________________________________
 Layer (type)                Output Shape              Param #   
=================================================================
 inputs (InputLayer)         [(None, 2)]               0         
                                                                 
 output (Dense)              (None, 1)                 3         
                                                                 
=================================================================
Total params: 3
Trainable params: 3
Non-trainable params: 0
_________________________________________________________________

INFO:tensorflow:Assets written to: ./data/linear_model/1/assets
"""

# 查看保存的模型文件
!ls {export_path+version}

"""
assets	keras_metadata.pb  saved_model.pb  variables
"""

# 查看模型文件相关信息
!saved_model_cli show --dir {export_path+str(version)} --all

"""
MetaGraphDef with tag-set: 'serve' contains the following SignatureDefs:

signature_def['__saved_model_init_op']:
  The given SavedModel SignatureDef contains the following input(s):
  The given SavedModel SignatureDef contains the following output(s):
    outputs['__saved_model_init_op'] tensor_info:
        dtype: DT_INVALID
        shape: unknown_rank
        name: NoOp
  Method name is: 

signature_def['serving_default']:
  The given SavedModel SignatureDef contains the following input(s):
    inputs['inputs'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 2)
        name: serving_default_inputs:0
  The given SavedModel SignatureDef contains the following output(s):
    outputs['output'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 1)
        name: StatefulPartitionedCall:0
  Method name is: tensorflow/serving/predict

Concrete Functions:
  Function Name: '__call__'
    Option #1
      Callable with:
        Argument #1
          inputs: TensorSpec(shape=(None, 2), dtype=tf.float32, name='inputs')
        Argument #2
          DType: bool
          Value: False
        Argument #3
          DType: NoneType
          Value: None
    Option #2
      Callable with:
        Argument #1
          inputs: TensorSpec(shape=(None, 2), dtype=tf.float32, name='inputs')
        Argument #2
          DType: bool
          Value: True
        Argument #3
          DType: NoneType
          Value: None

  Function Name: '_default_save_signature'
    Option #1
      Callable with:
        Argument #1
          inputs: TensorSpec(shape=(None, 2), dtype=tf.float32, name='inputs')

  Function Name: 'call_and_return_all_conditional_losses'
    Option #1
      Callable with:
        Argument #1
          inputs: TensorSpec(shape=(None, 2), dtype=tf.float32, name='inputs')
        Argument #2
          DType: bool
          Value: False
        Argument #3
          DType: NoneType
          Value: None
    Option #2
      Callable with:
        Argument #1
          inputs: TensorSpec(shape=(None, 2), dtype=tf.float32, name='inputs')
        Argument #2
          DType: bool
          Value: True
        Argument #3
          DType: NoneType
          Value: None
"""

安装 tensorflow serving

安装 tensorflow serving 有2种主要方法：通过Docker镜像安装，通过apt安装。
通过Docker镜像安装是最简单，最直接的方法，推荐采用。
Docker可以理解成一种容器，其上面可以给各种不同的程序提供独立的运行环境。
一般业务中用到tensorflow的企业都会有运维同学通过Docker 搭建 tensorflow serving.
无需算法工程师同学动手安装，以下安装过程仅供参考。
不同操作系统机器上安装Docker的方法可以参照以下链接。
https://www.runoob.com/docker/ubuntu-docker-install.html
安装Docker成功后，使用如下命令加载 tensorflow/serving 镜像到Docker中
docker pull tensorflow/serving
这里演示基于Docker安装的TensorFlow serving

启动 tensorflow serving 服务

# :/models/linear_model固定写法
docker run -t --rm -p 8501:8501 \
    -v "/media/ps/BigVolumnDisk/learning/learning_tensorflow/eat_tensorflow2_in_30_days_ipynb-master/六、TensorFlow的高阶API/data/linear_model:/models/linear_model" \
    -e MODEL_NAME=linear_model \
    tensorflow/serving & >server.log 2>&1

向API服务发送请求

!curl -d '{"instances": [[1.0, 2.0], [5.0, 7.0]]}' \
    -X POST http://localhost:8501/v1/models/linear_model:predict

"""
{
    "predictions": [[2.911484], [5.82815218]
    ]
}
"""

import json,requests

data = json.dumps({"signature_name": "serving_default", "instances": [[1.0, 2.0], [5.0,7.0]]})
headers = {"content-type": "application/json"}
json_response = requests.post('http://localhost:8501/v1/models/linear_model:predict', 
        data=data, headers=headers)
predictions = json.loads(json_response.text)["predictions"]
print(predictions)

"""
[[2.911484], [5.82815218]]
"""

标签：tensorflow2,inputs,serving,linear,30,tf,tensorflow,name
来源： https://www.cnblogs.com/lotuslaw/p/16439588.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。