Увеличение изображения для глубокого обучения с использованием Keras и выравнивания гистограмм

В этом посте мы рассмотрим:

• Увеличение изображения: что это такое? Почему это важно?
• Керас: Как использовать его для базового увеличения изображения.
• Выравнивание гистограммы: что это такое? Чем это полезно?
• Реализация методов выравнивания гистограммы: один из способов изменить файл keras.preprocessing image.py.

Увеличение изображения: что это такое? Почему это важно?

Глубокие нейронные сети, особенно сверточные нейронные сети (CNN), особенно хорошо справляются с задачами классификации изображений. Было даже показано, что современные CNN превосходят человеческие возможности в распознавании изображений.

Однако, как мы узнали из приложения г-на Цзянь-Яна для распознавания еды Хот-дог, а не хот-дог в популярном телешоу Кремниевая долина, (приложение теперь доступно в магазине приложений) Сбор изображений в качестве обучающих данных может быть дорогостоящим и трудоемким.

Если вы не знакомы с телешоу "Кремниевая долина", имейте в виду, что в следующем ролике используется язык NSFW:

Чтобы избежать высоких затрат на сбор тысяч обучающих изображений, было разработано увеличение изображений для генерации обучающих данных из существующего набора данных. Увеличение изображения - это процесс получения изображений, которые уже есть в наборе обучающих данных, и манипулирования ими для создания множества измененных версий одного и того же изображения. Это дает больше изображений для обучения, но также может помочь раскрыть наш классификатор более широкому спектру ситуаций освещения и окраски, чтобы сделать наш классификатор более надежным. Вот несколько примеров различных дополнений из библиотеки imgaug.

Использование Keras для базового увеличения изображения

Есть много способов предварительной обработки изображений. В этом посте мы рассмотрим некоторые из наиболее распространенных готовых методов, которые библиотека глубокого обучения keras предоставляет для увеличения изображений, а затем мы покажем, как изменить файл keras.preprocessing image.py. для включения методов выравнивания гистограммы. Мы будем использовать набор данных cifar10, который поставляется с keras. Однако мы будем использовать только изображения кошек и собак из набора данных, чтобы задача оставалась достаточно маленькой, чтобы ее можно было выполнять на процессоре - на случай, если вы захотите продолжить. Вы можете просмотреть записную книжку исходного кода IPython в этом посте.

Загрузка и форматирование данных

Первое, что мы сделаем, это загрузим набор данных cifar10 и отформатируем изображения, чтобы подготовить их для CNN. Мы также взглянем на несколько изображений, чтобы убедиться, что данные загружены правильно.

Изображения cifar10 имеют размер всего 32 x 32 пикселя, поэтому при увеличении они выглядят зернистыми, но CNN не знает, что они зернистые, все, что они видят, - это ДАННЫЕ.

Создайте генератор изображений из ImageDataGenerator ()

Дополнить данные изображения с помощью keras очень просто. Привет Джейсону Браунли, который предоставил отличный учебник по этому поводу. Сначала нам нужно создать генератор изображений, вызвав функцию ImageDataGenerator() и передать ей список параметров, описывающих изменения, которые мы хотим выполнить с изображениями. Затем мы вызовем функцию fit() в нашем генераторе изображений, которая будет применять изменения к изображениям пакет за пакетом. По умолчанию модификации применяются случайным образом, поэтому не каждое изображение будет изменяться каждый раз. Вы также можете использовать keras.preprocessing для экспорта файлов расширенных изображений в папку, чтобы создать гигантский набор данных измененных изображений, если вы захотите это сделать.

Здесь мы рассмотрим некоторые из наиболее интересных визуальных дополнений. Описание всех возможных ImageDataGenerator() параметров, а также список других методов, доступных в keras.preprocessing, можно увидеть в документации keras.

Произвольный поворот изображений

Переворачивать изображения по вертикали

Переворачивание изображений по горизонтали также является одним из классических способов создания дополнительных данных для классификатора. Это так же легко сделать и, вероятно, имеет больше смысла с этим набором данных, однако я пропустил код и изображения, потому что невозможно узнать, было ли изображение собаки или кошки перевернуто по горизонтали, не глядя на оригинал.

Сдвиг изображения по вертикали или горизонтали на 20%

Методы выравнивания гистограммы

Выравнивание гистограммы - это процесс получения изображения с низкой контрастностью и увеличения контраста между относительными максимумами и минимумами изображения, чтобы выявить тонкие различия в оттенках и создать более контрастное изображение. Результаты могут быть поразительными, особенно для изображений в оттенках серого. Вот некоторые примеры:

В этом посте мы рассмотрим три метода увеличения изображения для улучшения контраста изображений. Эти подходы иногда также называют растяжением гистограммы, потому что они принимают распределение интенсивности пикселей и растягивают распределение, чтобы соответствовать более широкому диапазону значений, тем самым увеличивая уровень контраста между самыми светлыми и самыми темными частями изображения.

Выравнивание гистограммы

Уравнивание гистограммы увеличивает контраст в изображениях, обнаруживая распределение плотностей пикселей в изображении и нанося эти плотности пикселей на гистограмму. Затем анализируется распределение этой гистограммы, и если есть диапазоны яркости пикселей, которые в настоящее время не используются, гистограмма затем растягивается, чтобы покрыть эти диапазоны, а затем проецируется назад на изображение для увеличения. общий контраст изображения.

Контрастная растяжка

Растягивание контраста использует подход к анализу распределения плотности пикселей в изображении, а затем изменяет масштаб изображения, чтобы включить в него все интенсивности, которые попадают в 2-й и 98-й процентили.

Адаптивная коррекция

Адаптивное выравнивание отличается от обычного выравнивания гистограмм тем, что вычисляется несколько разных гистограмм, каждая из которых соответствует разному участку изображения; однако он имеет тенденцию чрезмерно усиливать шум в неинтересных частях.

Следующий код взят из документации библиотеки изображений sci-kit и был изменен для выполнения трех вышеуказанных дополнений к первому изображению нашего набора данных cifar10. Сначала мы импортируем необходимые модули из библиотеки изображений sci-kit (skimage), а затем изменим код из документации изображений sci-kit, чтобы просмотреть дополнения к первому изображению нашего набора данных.

Вот модифицированные изображения низкоконтрастной кошки из набора данных cifar10. Как видите, результаты не столь поразительны, как при использовании низкоконтрастного изображения в оттенках серого, но все же помогают улучшить качество изображений.

Изменение keras.preprocessing для включения методов выравнивания гистограммы.

Теперь, когда мы успешно изменили одно изображение из набора данных cifar10, мы продемонстрируем, как изменить файл keras.preprocessing image.py, чтобы выполнить эти различные методы модификации гистограммы, точно так же, как мы делали нестандартные дополнения keras. используя ImageDataGenerator(). Вот общие шаги, которые мы предпримем для реализации этой функции:

Обзор

• Найдите файл keras.preprocessing image.py на своем компьютере.
• Скопируйте файл image.py в свой файл или записную книжку.
• Добавьте один атрибут для каждого метода выравнивания в функцию инициализации DataImageGenerator ().
• Добавьте предложения оператора IF в метод random_transform, чтобы дополнения реализовывались, когда мы вызываем datagen.fit().

Один из самых простых способов внести изменения в image.py файл keras.preprocessing - просто скопировать и вставить его содержимое в наш код. Это избавит от необходимости импортировать его. Вы можете просмотреть содержимое image.py файла на github здесь. Однако, чтобы быть уверенным, что вы получаете ту же версию файла, которую вы импортировали ранее, лучше взять image.py файл, который уже находится на вашем компьютере. Запуск print(keras.__file__) распечатает путь к библиотеке keras, которая находится на вашем компьютере. Путь (для пользователей Mac) может выглядеть примерно так:

/usr/local/lib/python3.5/dist-packages/keras/__init__.pyc

Это дает нам путь к keras на нашей локальной машине. Идите вперед и перейдите туда, а затем в папку preprocessing. Внутри preprocessing вы увидите файл image.py. Затем вы можете скопировать его содержимое в свой код. Файл длинный, но для начинающих это, вероятно, один из самых простых способов внести в него изменения.

Редактирование image.py

В верхней части image.py вы можете закомментировать строку: from ..import backend as K, если вы уже включили ее выше.

На этом этапе также дважды проверьте, что вы импортируете необходимые модули scikit-image, чтобы скопированный image.py мог их увидеть.

from skimage import data, img_as_float
from skimage import exposure

Теперь нам нужно добавить шесть строк в __init__ method класса ImageDataGenerator, чтобы у него были три свойства, которые представляют типы дополнений, которые мы собираемся добавить. Код ниже скопирован из моего текущего image.py. Строки с ##### сбоку - это строки, которые я добавил.

Функция random_transform() (ниже) отвечает на аргументы, которые мы передали в функцию ImageDataGenerator(). Если мы установили для параметров contrast_stretching, adaptive_equalization или histogram_equalization значение True, когда мы вызываем ImageDataGenerator(), (точно так же, как и для других увеличений изображений) random_transform() затем применит желаемое увеличение изображения.

Теперь у нас есть весь необходимый код, и мы можем вызвать ImageDataGenerator () для выполнения наших методов модификации гистограммы. Вот как выглядят несколько изображений, если мы установим для всех трех значений True.

Я не рекомендую устанавливать для нескольких из них значение True для любого набора данных. Обязательно поэкспериментируйте с конкретным набором данных, чтобы увидеть, что помогает повысить точность классификатора. Я обнаружил, что для цветных изображений растяжение контраста часто дает лучшие результаты, чем изменение гистограммы или адаптивное выравнивание.

Обучите и подтвердите свой Keras CNN

Последний шаг - обучить нашу CNN и проверить модель с помощью model.fit_generator(), чтобы обучить и проверить нашу нейронную сеть на расширенных изображениях.