數(shù)據(jù)科學(xué)家在創(chuàng)建機(jī)器學(xué)習(xí)模型后，必須將其部署到生產(chǎn)中。要在不同的基礎(chǔ)架構(gòu)上運(yùn)行它，使用容器并通過 rest api 公開模型是部署機(jī)器學(xué)習(xí)模型的常用方法。本文演示了如何在 podman 容器中使用 connexion 推出使用 rest api 的 tensorflow 機(jī)器學(xué)習(xí)模型。
準(zhǔn)備
首先，使用以下命令安裝 podman：
sudo dnf -y install podman
接下來，為容器創(chuàng)建一個(gè)新文件夾并切換到該目錄。
mkdir deployment_container && cd deployment_container
tensorflow 模型的 rest api
下一步是為機(jī)器學(xué)習(xí)模型創(chuàng)建 rest api。這個(gè) github 倉庫包含一個(gè)預(yù)訓(xùn)練模型，以及能讓 rest api 工作的設(shè)置。
使用以下命令在 deployment_container 目錄中克隆它：
git clone https://github.com/svenboesiger/titanic_tf_ml_model.git
prediction.py 和 ml_model/
prediction.py 能進(jìn)行 tensorflow 預(yù)測，而 20x20x20 神經(jīng)網(wǎng)絡(luò)的權(quán)重位于文件夾 ml_model/ 中。
swagger.yaml
swagger.yaml 使用 swagger規(guī)范 定義 connexion 庫的 api。此文件包含讓你的服務(wù)器提供輸入?yún)?shù)驗(yàn)證、輸出響應(yīng)數(shù)據(jù)驗(yàn)證、url 端點(diǎn)定義所需的所有信息。
額外地，connexion 還將給你提供一個(gè)簡單但有用的單頁 web 應(yīng)用，它演示了如何使用 javascript 調(diào)用 api 和更新 dom。
swagger: 2.0
info:
description: this is the swagger file that goes with our server code
version: 1.0.0
title: tensorflow podman article
consumes:
- application/json
produces:
- application/json
basepath: /
paths:
/survival_probability:
post:
operationid: prediction.post
tags:
- prediction
summary: the prediction data structure provided by the server application
description: retrieve the chance of surviving the titanic disaster
parameters:
- in: body
name: passenger
required: true
schema:
$ref: '#/definitions/predictionpost'
responses:
'201':
description: 'survival probability of an individual titanic passenger'
definitions:
predictionpost:
type: objectserver.py 和 requirements.txt
server.py 定義了啟動(dòng) connexion 服務(wù)器的入口點(diǎn)。
import connexion
app = connexion.app(__name__, specification_dir='./')
app.add_api('swagger.yaml')
if __name__ == '__main__':
app.run(debug=true)requirements.txt 定義了運(yùn)行程序所需的 python 包。
connexion
tensorflow
pandas容器化！
為了讓 podman 構(gòu)建映像，請?jiān)谏厦娴臏?zhǔn)備步驟中創(chuàng)建的 deployment_container 目錄中創(chuàng)建一個(gè)名為 dockerfile 的新文件：
from fedora:28
# file author / maintainer
maintainer sven boesiger <donotspam@ujelang.com>
# update the sources
run dnf -y update --refresh
# install additional dependencies
run dnf -y install libstdc++
run dnf -y autoremove
# copy the application folder inside the container
add /titanic_tf_ml_model /titanic_tf_ml_model
# get pip to download and install requirements:
run pip3 install -r /titanic_tf_ml_model/requirements.txt
# expose ports
expose 5000
# set the default directory where cmd will execute
workdir /titanic_tf_ml_model
# set the default command to execute
# when creating a new container
cmd python3 server.py接下來，使用以下命令構(gòu)建容器鏡像：
podman build -t ml_deployment .
運(yùn)行容器
隨著容器鏡像的構(gòu)建和準(zhǔn)備就緒，你可以使用以下命令在本地運(yùn)行它：
podman run -p 5000:5000 ml_deployment
在 web 瀏覽器中輸入 http://0.0.0.0:5000/ui 訪問 swagger/connexion ui 并測試模型：
當(dāng)然，你現(xiàn)在也可以在應(yīng)用中通過 rest api 訪問模型。
via: https://fedoramagazine.org/create-containerized-machine-learning-model/
作者：sven b?siger 選題：lujun9972 譯者：geekpi 校對：wxy