使用 Java 客户端使用张量流服务初始模型

Question

我所做的是，我在 Windows 上使用 Docker 部署了张量流服务。我在张量流服务中使用了初始模型。它正在运行。现在，使用java，我想将图像从浏览器上传到在 tensorflow 服务中运行的这个初始模型，作为响应，我应该获取类名。

任何示例示例都会有所帮助。

Answer 1

假设 Tensorflow Serving 1.11.0-rc1（在 中不起作用1.10.1），请求 JSON 负载的形式为：{  "inputs": {    "images": [{ "b64": "IMAGE_BASE64" }]  }}IMAGE_BASE64要预测的图像上的 Base64 编码在哪里（通常是一个长字符串，因此此处未显示）。Java 客户端库需要为输入图像构建此有效负载。然后，Java 客户端会将请求提交到以下端点：POST /v1/models/inception:predict您可能需要替换inception部署在服务器上的模型的名称。要从 shell（从运行在 Docker 上的 Linux 或使用等效的 PowerShell 命令）针对可用的服务器localhost（映射到由 Docker Serving 容器公开的端口，此处8501）进行尝试：curl -d "@request.json" -X POST http://localhost:8501/v1/models/inception:predict该request.json文件包含本文开头的请求 JSON 负载。一个典型的回应：{  "outputs": {    "classes": [      "class1",      "class2",      ...    ],    "scores": [      [        0.0321035,        0.905796,        ...      ]    ]  }}重要说明：以上运行来自旧的 Inception v3 模型（2015）的部署，在 Serving 时导出0.4.1。不过，它与 Serving 配合得很好1.11.0-rc1。如果您已使用最新的导出脚本导出模型，则可能存在细微差异（1.11.0-rc1 导出脚本在签名方面似乎没有区别）。所以这个答案可能不适合你，但只是让你走上解决问题的道路。