Bagaimana untuk menggunakan model dalam Python menggunakan TensorFlow Serving?

Menggunakan model pembelajaran mesin adalah penting untuk menjadikan aplikasi kecerdasan buatan berfungsi, dan untuk menyediakan model dengan berkesan dalam persekitaran pengeluaran, TensorFlow Serving menyediakan penyelesaian yang boleh dipercayai. Apabila model dilatih dan bersedia untuk digunakan, adalah penting untuk menyampaikannya dengan cekap untuk mengendalikan permintaan masa nyata. TensorFlow Serving ialah alat berkuasa yang membantu menggunakan model pembelajaran mesin dengan lancar dalam persekitaran pengeluaran.

Dalam artikel ini, kami akan menyelami langkah-langkah yang terlibat dalam menggunakan model dalam Python menggunakan TensorFlow Serving.

Apakah itu penggunaan model?

Penempatan model melibatkan penyediaan model pembelajaran mesin terlatih untuk ramalan masa nyata. Ini bermakna memindahkan model daripada persekitaran pembangunan kepada sistem pengeluaran yang boleh mengendalikan permintaan masuk dengan cekap. TensorFlow Serving ialah sistem yang dibina khas dan berprestasi tinggi yang direka untuk menggunakan model pembelajaran mesin.

Sediakan perkhidmatan TensorFlow

Pertama, kami perlu memasang TensorFlow Serving pada sistem kami. Sila ikut langkah di bawah untuk menyediakan TensorFlow Serving -

Langkah 1: Pasang TensorFlow Serving

Mula-mula pasang TensorFlow Serving menggunakan pip pengurus pakej. Buka command prompt atau terminal dan masukkan arahan berikut -

pip install tensorflow-serving-api

Langkah 2: Mulakan pelayan perkhidmatan TensorFlow

Selepas pemasangan, mulakan pelayan TensorFlow Serving dengan menjalankan arahan berikut -

tensorflow_model_server --rest_api_port=8501 --model_name=my_model --model_base_path=/path/to/model/directory

Ganti `/path/to/model/directory` dengan laluan di mana model terlatih disimpan.

Bersedia untuk menggunakan model

Sebelum menggunakan model, ia perlu disimpan dalam format yang boleh difahami oleh TensorFlow Serving. Ikut langkah ini untuk menyediakan model anda untuk penggunaan -

Simpan model dalam format SavedModel

Dalam skrip Python, gunakan kod berikut untuk menyimpan model terlatih ke dalam format SavedModel -

import tensorflow as tf

# Assuming `model` is your trained TensorFlow model
tf.saved_model.save(model, '/path/to/model/directory')

Tentukan tandatangan model

Tandatangan model memberikan maklumat tentang tensor input dan output model. Gunakan fungsi `tf.saved_model.signature_def_utils.build_signature_def` untuk mentakrifkan tandatangan model. Ini adalah contoh -

inputs = {'input': tf.saved_model.utils.build_tensor_info(model.input)}
outputs = {'output': tf.saved_model.utils.build_tensor_info(model.output)}

signature = tf.saved_model.signature_def_utils.build_signature_def(
   inputs=inputs,
   outputs=outputs,
   method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME
)

Simpan model dengan tandatangan

Untuk menyimpan model bersama tandatangan, gunakan kod berikut -

builder = tf.saved_model.builder.SavedModelBuilder('/path/to/model/directory')
builder.add_meta_graph_and_variables(
   sess=tf.keras.backend.get_session(),
   tags=[tf.saved_model.tag_constants.SERVING],
   signature_def_map={
      tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY: signature
   }
)
builder.save

()

Gunakan TensorFlow Serving untuk melayani model

Sekarang model kami sudah sedia, tiba masanya untuk menyajikannya menggunakan TensorFlow Serving. Sila ikut langkah di bawah -

Sambung dengan TensorFlow Serving

Dalam skrip Python, gunakan protokol gRPC untuk mewujudkan sambungan dengan TensorFlow Serving. Ini adalah contoh -

from tensorflow_serving.apis import predict_pb2
from tensorflow_serving.apis import prediction_service_pb2_grpc

channel = grpc.insecure_channel('localhost:8501')
stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)

Buat permintaan

Untuk membuat ramalan, cipta mesej protobuf permintaan dan nyatakan nama model dan nama tandatangan. Ini adalah contoh -

request = predict_pb2.PredictRequest()
request.model_spec.name = 'my_model'
request.model_spec.signature_name = tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY
request.inputs['input'].CopyFrom(tf.contrib.util.make_tensor_proto(data, shape=data.shape))

Ganti `data` dengan data input yang anda ingin ramalkan.

Hantar permintaan dan dapatkan jawapan

Hantar permintaan kepada TensorFlow Serving dan dapatkan respons. Ini adalah contoh -

response = stub.Predict(request, timeout_seconds)
output = tf.contrib.util.make_ndarray(response.outputs['output'])

Parameter

`timeout_seconds` menentukan masa maksimum untuk menunggu respons.

Uji model yang digunakan

Untuk memastikan model yang digunakan berfungsi dengan baik, ia mesti diuji dengan input sampel. Berikut ialah cara untuk menguji model yang digunakan -

Sediakan data sampel

Buat satu set data input sampel yang sepadan dengan format input yang dijangkakan model.

Hantar permintaan kepada model yang digunakan

Buat dan hantar permintaan kepada model yang digunakan.

request = predict_pb2.PredictRequest()
request.model_spec.name = 'my_model'
request.model_spec.signature_name = tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY
request.inputs['input'].CopyFrom(tf.contrib.util.make_tensor_proto(data, shape=data.shape))

Nilai keluaran

Bandingkan output yang diterima daripada model yang digunakan dengan output yang dijangkakan. Langkah ini memastikan model membuat ramalan yang tepat.

Menskala dan mengawasi penempatan

Apabila permintaan ramalan meningkat, adalah penting untuk menskalakan penggunaan anda untuk mengendalikan jumlah permintaan masuk yang besar. Selain itu, penggunaan pemantauan membantu menjejak prestasi dan kesihatan model yang digunakan. Pertimbangkan untuk melaksanakan strategi penskalaan dan pemantauan berikut -

Zum

• Gunakan berbilang contoh TensorFlow Serving untuk pengimbangan beban.

• Simpan menggunakan platform seperti Docker dan Kubernetes.

Memantau

• Kumpul metrik seperti kependaman permintaan, kadar ralat dan daya pemprosesan.

• Tetapkan makluman dan pemberitahuan untuk peristiwa kritikal.

Contoh

Contoh program di bawah menunjukkan cara menggunakan model menggunakan sajian TensorFlow -

import tensorflow as tf
from tensorflow import keras

# Load the trained model
model = keras.models.load_model("/path/to/your/trained/model")

# Convert the model to the TensorFlow SavedModel format
export_path = "/path/to/exported/model"
tf.saved_model.save(model, export_path)

# Start the TensorFlow Serving server
import os
os.system("tensorflow_model_server --port=8501 --model_name=your_model --model_base_path={}".format(export_path))

Dalam contoh di atas, anda perlu menggantikan "/path/to/your/trained/model" dengan laluan sebenar ke model terlatih. Model akan dimuatkan menggunakan fungsi load_model() Keras.

Seterusnya, model akan ditukar kepada format TensorFlow SavedModel dan disimpan dalam laluan eksport yang ditentukan.

Kemudian gunakan fungsi os.system() untuk memulakan pelayan TensorFlow Serving, yang melaksanakan perintah tensorflow_model_server. Perintah ini menentukan port pelayan, nama model (model_anda) dan laluan asas di mana model yang dieksport berada.

Sila pastikan anda telah memasang TensorFlow Serving dan gantikan laluan fail dengan nilai yang sesuai untuk sistem anda.

Keluaran yang diingini

Selepas pelayan bermula dengan jayanya, ia akan bersedia untuk menyediakan perkhidmatan ramalan. Anda boleh menggunakan program atau API lain untuk menghantar permintaan ramalan kepada pelayan dan pelayan akan bertindak balas dengan output ramalan berdasarkan model yang dimuatkan.

Kesimpulan

Ringkasnya, adalah penting untuk menggunakan model pembelajaran mesin dalam persekitaran pengeluaran untuk memanfaatkan keupayaan ramalan mereka. Dalam artikel ini, kami meneroka proses menggunakan model dalam Python menggunakan TensorFlow Serving. Kami berbincang untuk memasang TensorFlow Serving, bersiap sedia untuk menggunakan model, menyediakan model dan menguji prestasinya. Dengan langkah berikut, kami boleh menggunakan model TensorFlow dengan jayanya dan membuat ramalan masa nyata yang tepat.

Atas ialah kandungan terperinci Bagaimana untuk menggunakan model dalam Python menggunakan TensorFlow Serving?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!