WedX - журнал о программировании и компьютерных науках

Классификатор изображений фруктов (Python)

Я пытаюсь закодировать классификатор изображений фруктов с помощью python, попробуйте классифицировать 7 фруктов. У меня есть 15077 изображений для train_set и 4204 изображений для validation_set. Я скомпилировал код на 10 эпох и получил такие результаты:

Обучение на образцах 15077, проверка на образцах 4204 Эпоха 1/10 15077/15077 [==============================] - 264 с 17 мс / шаг - потеря: 1.0652 - точность: 0.5325 - val_loss: 0.3722 - val_accuracy: 0.8428 Эпоха 2/10 15077/15077 [======================= =======] - 256 с 17 мс / шаг - потеря: 0,4236 - точность: 0,8405 - val_loss: 0,2910 - val_accuracy: 0,9034 Эпоха 3/10 15077/15077 [============= =================] - 499 с 33 мс / шаг - потеря: 0,2682 - точность: 0,9107 - val_loss: 0,3614 - val_accuracy: 0,8830 Эпоха 4/10 15077/15077 [=== ===========================] - 243 с 16 мс / шаг - потеря: 0,2022 - точность: 0,9381 - val_loss: 0,0985 - val_accuracy: 0,9724 эпохи 5/10 15077/15077 [==============================] - 245 с 16 мс / шаг - потеря: 0,1500 - точность: 0,9548 - val_loss: 0,1258 - val_accuracy: 0,9536 Эпоха 6/10 15077/15077 [==============================] - 253 с 17 мс / шаг - потеря: 0,1509 - точность: 0,9529 - val_loss: 0,1831 - val_accuracy: 0,9317 Эпоха 7/10 15077/15077 [======================= =======] - 245 с 16 мс / шаг - потеря: 0,1020 - точность: 0,9678 - val_loss: 0,2164 - val_accuracy: 0,9391 Эпоха 8/10 15077/15077 [====================== ========] - 255 с 17 мс / шаг - потеря: 0,0668 - точность: 0,9816 - val_loss: 0,3004 - val_accuracy: 0,9229 Эпоха 9/10 15077/15077 [============ ==================] - 243 с 16 мс / шаг - потеря: 0,1081 - точность: 0,9704 - val_loss: 1,4997 - val_accuracy: 0,8639 Эпоха 10/10 15077/15077 [== ============================] - 240 с 16 мс / шаг - потеря: 0,0765 - точность: 0,9784 - val_loss: 0,1763 - val_accuracy: 0,9424 Потеря теста: 0,17632227091173225 Точность теста: 0,9424358010292053 Интересно, почему точность действует как синусоида? Я думаю, это должно увеличиваться с каждой эпохой. У вас есть рекомендации по изменению кода? Спасибо за ответ .

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import os
import cv2
import tensorflow as tf
import keras
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten, Conv2D, MaxPooling2D
from keras.layers import LSTM, Input, TimeDistributed
from keras.models import Model
from keras.optimizers import RMSprop, SGD

# Import the backend
from keras import backend as K

dataDirTrain = "C:/Users/TCSEAKIN/Desktop/Py/AI-hack/AI/Training"
dataDirTest = "C:/Users/TCSEAKIN/Desktop/Py/AI-hack/AI/Test"
categories = ["Armut", "Cilek", "Elma_Kirmizi", "Elma_Yesil", "Mandalina", "Muz","Portakal"]


training_data = []
test_data = []

for category in categories:
    path = os.path.join(dataDirTrain, category)
    class_num = categories.index(category)
    for img in os.listdir(path):
        try:
            imgTrainArray = cv2.imread(os.path.join(path,img))
            newTrainArray = cv2.resize(imgTrainArray, (50, 50))
            training_data.append([newTrainArray, class_num])
        except Exception as e:
            pass


for category in categories:
    path = os.path.join(dataDirTest, category)
    class_num = categories.index(category)
    for img in os.listdir(path):
        try:
            imgTestArray = cv2.imread(os.path.join(path,img))
            newTestArray = cv2.resize(imgTestArray, (50, 50))
            test_data.append([newTestArray, class_num])
        except Exception as e:
            pass

X_train = []
x_test = []
y_train = []
y_test = []

for features, label in training_data:
    X_train.append(features)
    y_train.append(label)

for features, label in test_data:
    x_test.append(features)
    y_test.append(label)

X_train = np.array(X_train).reshape(-1, 50, 50, 3)
y_train = np.array(y_train).reshape(-1, 1)

x_test = np.array(x_test).reshape(-1, 50, 50, 3)
y_test = np.array(y_test).reshape(-1, 1)


X_train = X_train/255
x_test = x_test/255

from keras.utils import to_categorical

Y_train_one_hot = to_categorical(y_train)
Y_test_one_hot = to_categorical(y_test)

model_cnn = Sequential()
# First convolutional layer, note the specification of shape
model_cnn.add(Conv2D(64, kernel_size=(3, 3),activation='relu',input_shape=(50, 50, 3)))


model_cnn.add(Conv2D(128, (3, 3), activation='relu'))
model_cnn.add(MaxPooling2D(pool_size=(2, 2)))
model_cnn.add(Conv2D(256, (3, 3), activation='relu'))
model_cnn.add(MaxPooling2D(pool_size=(2, 2)))
model_cnn.add(Dropout(0.5))

model_cnn.add(Flatten())
model_cnn.add(Dense(128, activation='relu'))
model_cnn.add(Dropout(0.5))
model_cnn.add(Dense(64, activation='relu'))
model_cnn.add(Dropout(0.5))
model_cnn.add(Dense(7, activation='softmax'))

model_cnn.compile(loss="categorical_crossentropy",
              optimizer="adam",
              metrics=['accuracy'])

model_cnn.fit(X_train, Y_train_one_hot,
          batch_size=64,
          epochs=10,
          verbose=1,
          validation_data=(x_test, Y_test_one_hot))
score = model_cnn.evaluate(x_test, Y_test_one_hot, verbose=0)
print('Test loss:', score[0])
print('Test accuracy:', score[1])

model_cnn.save("C:/Users/TCSEAKIN/Desktop/Training3.py"
04.05.2020

Ответы:


1

Я считаю, что точность тренировок уже хорошая. Вы можете сделать несколько вещей, чтобы повысить точность проверки и общую производительность.

  1. используйте ImageDataGenerator для увеличения изображений, чтобы повысить точность модели
  2. используйте более низкую скорость обучения или адаптивную скорость обучения.
  3. Обновите две строки, как показано ниже. Недавно было обнаружено, что есть числовые нестабильности, вносимые softmax слоем в конце модели.

Замените эти две строки
из

model_cnn.add(Dense(7, activation='softmax'))

model_cnn.compile(loss="categorical_crossentropy",
              optimizer="adam",
              metrics=['accuracy'])

to

model_cnn.add(Dense(7))

model_cnn.compile(loss=tf.keras.losses.CategoricalCrossentropy(from_logits=True),
              optimizer="adam",
              metrics=['accuracy'])
  1. Попробуйте настроить некоторые гиперпараметры, такие как изменение batch_size с 64 на 32, что увеличивает количество шагов, попробуйте другие методы оптимизации, увеличьте количество эпох и т. Д.

Надеюсь, это поможет.

04.05.2020
  • код хорошо обучен, но должно быть что-то не так, потому что, когда я пытаюсь протестировать код, он всегда отвечает неправильно :( 05.05.2020
  • вы пробовали попробовать мою точку (3) и точку (1). Я думаю, они должны показать хорошую тенденцию в точности обучения и проверки. 05.05.2020

  • 2

    На самом деле это нормальное поведение. Вы можете уменьшить скорость обучения, чтобы уменьшить разницу в точности между эпохами обучения (также, попробуйте другие оптимизаторы, если хотите)

    Кроме того, вы должны нормализовать свои изображения, чтобы улучшить способность вашей сети обобщать знания. Здесь вы можете узнать больше о нормализации: https://machinelearningmastery.com/how-to-normalize-center-and-standardize-images-with-the-imagedatagenerator-in-keras/

    04.05.2020
  • я проверяю свои данные и результаты такие плохие :( 04.05.2020
  • Увеличение данных - это еще один способ, но ›90% точность с первого раза - неплохой вариант. 05.05.2020
  • Новые материалы

    Объяснение документов 02: BERT
    BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..

    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..

    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..

    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..

    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..

    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..

    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..


    Для любых предложений по сайту: [email protected]