Этот пост изначально был размещен на https://www.codingwoman.com/generative-adversarial-networks-paper-reading-road-map/

Этим летом я работал над генеративными состязательными сетями (GAN) в рамках исследовательской стажировки. Сначала я мало что знал об этой модели, поэтому в первые недели стажировки я много читал бумаги. Чтобы помочь другим, кто хочет узнать больше о технических сторонах GAN, я хотел поделиться некоторыми статьями, которые я прочитал, в том порядке, в котором я их читал.

Для менее технического введения в генеративные состязательные сети загляните здесь.

Перед чтением этих статей я рекомендую вам пересмотреть основы глубокого обучения, если вы с ними не знакомы. Я также считаю, что математика, лежащая в основе некоторых из этих работ, может быть очень сложной, поэтому вы можете пропустить эти части, если вам некомфортно с ними.

Вот моя дорожная карта чтения бумаг, где я даю некоторое представление о статьях:

1. Учебное пособие NIPS 2016: Генеративные состязательные сети

Это учебное пособие Иэна Гудфеллоу, в котором рассказывается о важности GAN, о том, как они работают, о границах исследований, связанных с ними, и о современных моделях изображений, сочетающих GAN с другими методами. Учебное пособие начинается с примеров применения сетей GAN. Затем Ян Гудфеллоу продолжает сравнение GAN с другими моделями, такими как вариационные кодеры. Позже Гудфеллоу объясняет, как работают генератор и дискриминатор, а также описывает отношения между ними как игру, а не как проблему оптимизации, которую можно решить с помощью равновесия по Нэшу. Затем Гудфеллоу дает несколько советов и приемов по повышению производительности GAN, а также дает некоторые исследования, связанные с GAN. Он также затрагивает проблемы, с которыми сталкиваются сети GAN, такие как "Срыв режима". В конце Гудфеллоу представляет некоторые упражнения и их решения.
Ссылка на статью: https://arxiv.org/abs/1701.00160

2. Обучение неконтролируемому представлению с помощью глубоких сверточных генерирующих состязательных сетей

В этом документе описывается новая архитектура, названная Deep Convolutional Generative Networks (DCGAN), чтобы сделать обучение сверточных GAN более стабильным. Исследователи дают некоторые рекомендации для этой архитектуры, такие как удаление полностью связанных скрытых слоев для более глубоких архитектур, использование пакетной нормализации как для генератора, так и для дискриминатора, использование ReLU в генераторе для всех слоев, кроме выходного, и LeakyReLU в дискриминаторе для всех слоев.
Ссылка на статью: https://arxiv.org/abs/1511.06434

3. Вассерштейн ГАН

В этой статье представлена ​​архитектура с улучшенной стабильностью процесса оптимизации GAN под названием Wasserstein GAN (WGAN). С помощью WGAN авторы избавляются от таких проблем, как коллапс режима, и предоставляют осмысленные кривые обучения, полезные для отладки и поиска гиперпараметров. Они используют отсечение веса для обеспечения ограничения Липшица, но в следующей статье мы увидим другой метод, который улучшит эту часть.
Ссылка на статью: https://arxiv.org/abs/1701.07875

4. Улучшенное обучение GAN Вассерштайна

В этой статье делается вывод о том, что иногда WGAN может приводить к нежелательному поведению, например к созданию плохих примеров или неспособности сойтись. Это связано с использованием утяжеления, упомянутого в статье выше. В этой работе исследователи предлагают альтернативу ограничению веса под названием градиентный штраф. Они называют эту архитектуру WGAN-GP и показывают, что производительность WGAN значительно улучшается с помощью этого метода.
Ссылка на статью: https://arxiv.org/abs/1704.00028

5. О регуляризации GAN Вассерштайна

В этой статье исследователи предлагают новый штрафной термин для усиления ограничения Липшица с целью стабилизации обучения GAN. Они называют эту архитектуру новым штрафным термином WGAN-LP и в своих экспериментах сравнивают ее с WGAN-GP, упомянутой в документе выше.
Ссылка на статью: https://arxiv.org/abs/1709.08894

В приведенных ниже статьях представлены новые методы и архитектуры, которые могут быть применены в качестве современных приемов (SOTA) для стабилизации обучения генерирующих состязательных сетей.

6. Связано ли кондиционирование генератора с производительностью GAN?

В этой статье представлен важный метод, называемый якобианским зажимом. С помощью этого метода исследователи предоставляют доказательства наличия причинно-следственной связи между кондиционированием генераторов GAN и качеством моделей, представленных этими генераторами GAN.
Ссылка на статью: https: // arxiv .org / abs / 1802.08768

7. Нейронное редактирование фотографий с помощью интроспективных состязательных сетей

В этой статье исследователи представляют Neural Photo Editor - интерфейс, который максимально использует преимущества генеративных нейронных сетей для внесения больших и семантически согласованных изменений в существующие изображения. Они предлагают новую модель под названием Introspective Adversarial Network (IAN) как гибрид вариационного кодировщика (VAE) и Generative Adversarial Network (GAN). Они также представляют метод ортогональной регуляризации для повышения производительности обобщения.
Ссылка на статью: https://arxiv.org/abs/1609.07093

8. Сети GAN, обученные с помощью правила обновления двух шкал времени, сходятся к локальному равновесию по Нэшу

В этой статье авторы представляют правило обновления двух шкал времени (TTUR), которое, как они доказали, сходится к стационарному локальному равновесию по Нэшу.
Ссылка на статью: https://arxiv.org/abs/1706.08500

9. Спектральная нормализация для генерирующих состязательных сетей

В этой статье исследователи предлагают новую технику нормализации веса, называемую спектральной нормализацией, которая стабилизирует обучение дискриминатора. Они называют эту новую архитектуру спектрально нормализованными генеративными состязательными сетями, то есть SN-GAN. С помощью этой архитектуры они генерируют примеры, которые намного более разнообразны, чем обычная нормализация веса, и достигают лучших или сравнительных начальных оценок.
Ссылка на статью: https://arxiv.org/abs/1802.05957

10. Обобщение и равновесие в генерирующих состязательных сетях (GAN)

С помощью этой статьи исследователи показывают, что свойство обобщения для сетей GAN проявляется в метрике, называемой расстоянием в нейронной сети. Кроме того, они показывают, что в игре между дискриминатором и генератором существует приблизительное чистое равновесие для специального класса генераторов с естественными целями обучения, когда мощность генератора и размер обучающей выборки остаются умеренными.
Ссылка на статью: https://arxiv.org/abs/1703.00573

Я надеюсь, что эта дорожная карта чтения документов была полезна тем, кто хочет больше узнать о технических сторонах генеративных состязательных сетей. Если у вас есть вопросы, вы можете добавить их в комментариях ниже.

Ссылки:

Руководство для начинающих по генеративным состязательным сетям (GAN). (нет данных). Получено с https://skymind.ai/wiki/generative-adversarial-network-gan

А., М., С. и Л. (6 декабря 2017 г.). Вассерштейн ГАН. Получено с https://arxiv.org/abs/1701.07875

А., С., Р., Л., М., З.,. . . Ge. (2017, 01 августа). Обобщение и равновесие в генерирующих состязательных сетях (GAN). Получено с https://arxiv.org/abs/1703.00573

Б., А., Л., Т., Р., В. и Н. (2017, 6 февраля). Нейронное редактирование фотографий с помощью интроспективных состязательных сетей. Получено с https://arxiv.org/abs/1609.07093.

Г., А., Ф., А., М., Д.,. . . А. (2017, 25 декабря). Улучшенное обучение GAN Вассерштейна. Получено с https://arxiv.org/abs/1704.00028

G., & I. (2017, 3 апреля). Учебное пособие NIPS 2016: Генеративные состязательные сети. Получено с https://arxiv.org/abs/1701.00160

Х., Ф., Л. и Д. (5 марта 2018 г.). О регуляризации GAN Вассерштейна. Источник https://arxiv.org/abs/1709.08894

Х., М., Р., Х., Т., Н.,. . . С. (2018, 12 января). Сети GAN, обученные с помощью правила обновления двух шкал времени, сходятся к локальному равновесию по Нэшу. Получено с https://arxiv.org/abs/1706.08500

О., А., Б., Дж., О., С.,. . . И. (2018, 19 июня). Связано ли кондиционирование генератора с производительностью GAN? Получено с https://arxiv.org/abs/1802.08768.

Р., А., М., Л. и С. (07 января 2016 г.). Обучение неконтролируемому представлению с помощью глубоких сверточных генеративных состязательных сетей. Источник https://arxiv.org/abs/1511.06434

T., K., T., K., M., Y., & Y. (16 февраля 2018 г.). Спектральная нормализация для генеративных состязательных сетей. Получено с https://arxiv.org/abs/1802.05957