Ошибка при обслуживании модели Внимание_ocr (ошибка: ожидается один или два выходных тензора, найдено 17)

Спасибо, что сообщили об этой проблеме. Я зарегистрировал ошибку (# 9264) в Github от вашего имени. Проблема в том, что подпись по умолчанию включает все конечные точки, которые предоставляет модель. Если вы хотите использовать API классификации обслуживания, нам необходимо изменить сценарий export_model, чтобы экспортировать только 2 тензора, ожидаемых API классификации (т. Е. Прогнозы и оценки). А пока вы можете использовать Predict API, который поддерживает произвольное число выходных тензоров. Обратите внимание, что при использовании API прогноза через GRPC вы можете указать output_filter, но RESTful API не имеет этой опции, поэтому ответ довольно тяжелый, поскольку он отправляет обратно все маски внимания и необработанное изображение. Если кто-то еще пытается выяснить, как выполнить вывод, вот шаги, которые сработали для меня.

1. Экспортируйте модель:

wget https://download.tensorflow.org/models/attention_ocr_2017_08_09.tar.gz
tar -xzvf attention_ocr_2017_08_09.tar.gz
python model_export.py --checkpoint=model.ckpt-399731 \
  --export_dir=/tmp/aocr_b1 --batch_size=1

Обратите внимание, что --batch_size=1 необходим из-за ошибки в model_export.py. Я позабочусь об этом, когда пришлю PR для выпуска подписи.

2. Запустите док-контейнер для обслуживания модели.

sudo docker run -t --rm -p 8501:8501 \
  -v /tmp/aocr_b1:/models/aocr/1 -e MODEL_NAME=aocr tensorflow/serving

Обратите внимание, что путь должен содержать номер версии /models/aocr/1. Если вы не добавите /1, сервер жалуется, что не может найти никаких версий.

3. Запускаем скрипт

python send_serving_request.py --image_file=testdata/fsns_train_00.png

Вот результаты

Prediction: Rue de la Gare░░░░░░░░░░░░░░░░░░░░░░░
Confidence: 0.899479449

Вот код:

send_serving_request.py

from absl import app
from absl import flags
import base64
import json
import os
from PIL import Image
import numpy as np
import requests
import tensorflow as tf

flags.DEFINE_string('image_file', None,
                    'Name of file containing image to request.')


def create_serialized_tf_example(image):
  """Create a serialized tf.Example proto for feeding the model."""
  example = tf.train.Example()
  example.features.feature['image/encoded'].float_list.value.extend(
      list(np.reshape(image, (-1))))
  return example.SerializeToString()


def main(_):
  pil_image = Image.open(flags.FLAGS.image_file)
  encoded_string = base64.b64encode(
      create_serialized_tf_example(np.asarray(pil_image)))
  predict_request = (
      b'{"instances": [{"inputs": {"b64": "%s"}}]}') % encoded_string
  r = requests.post(
      'https://localhost:8501/v1/models/aocr:predict', data=predict_request)
  data = json.loads(r.text)
  print('Prediction:', data['predictions'][0]['predicted_text'])
  print('Confidence:', data['predictions'][0]['normalized_seq_conf'])


if __name__ == '__main__':
  flags.mark_flag_as_required('image_file')
  app.run(main)