Глубокое обучение существует уже около десяти лет. С момента своего создания глубокое обучение покорило мир благодаря своему успеху (см. Мою статью Что такое глубокое обучение? О том, как глубокое обучение развивалось с помощью искусственного интеллекта и машинного обучения). Вот некоторые из наиболее значительных достижений глубокого обучения за эти годы.

AlexNet - 2012

  • Доказано, что сверточные нейронные сети действительно работают. AlexNet - и его исследовательская статья «Классификация ImageNet с глубокими сверточными нейронными сетями» Алекса Крижевского, Ильи Суцкевер и Джеффри Э. Хинтон - обычно считается тем, что сделало глубокое обучение популярным.
  • Выиграл 2012 ILSVRC (ImageNet Large-Scale Visual Recognition Challenge) с показателем ошибок 15,4%. (Для справки, вторая лучшая запись на ILSVRC имела коэффициент ошибок 26,2%).
  • 8 слоев: 5 сверточных, 3 полносвязных.
  • Используется ReLU для функции нелинейности, а не обычная функция tanh, которая использовалась до этого.
  • Представлено использование Dropout Layers и Data Augmentation для преодоления переобучения.

Исследовательская статья: «Классификация ImageNet с глубокими сверточными нейронными сетями» - Алекс Крижевский, Илья Суцкевер, Джеффри Э. Хинтон

ZF Net - 2013

  • Победитель ILSVRC 2013 с ошибкой 11,2%.
  • Подобно архитектуре AlexNet, с некоторыми изменениями и тонкой настройкой для повышения производительности.
  • Введена деконволюционная сеть (также известная как DeConvNet), метод визуализации для просмотра внутренней работы CNN.

Исследовательский документ: «Визуализация и понимание сверточных сетей» - Мэтью Д. Цайлер, Роб Фергус

VGG Net - 2014

  • Победитель в категории «Классификация + локализация» на ILSVRC 2014 (не абсолютный победитель) с коэффициентом ошибок 7,3%.
  • Архитектура VGG хорошо работала как с классификацией изображений, так и с локализацией.
  • 19-слойная сеть с фильтрами 3x3. (По сравнению с фильтрами 11x11 AlexNet и 7x7 фильтрами ZF Net).
  • Доказано, что простые глубокие структуры работают для иерархического извлечения признаков.

Исследовательская статья: «Очень глубокие сверточные сети для распознавания крупномасштабных изображений» - Карен Симонян, Эндрю Зиссерман

GoogLeNet - 2014/2015

  • Победитель ILSVRC 2014 с уровнем ошибок 6,7%.
  • Представлен начальный модуль, в котором подчеркивается, что слои CNN не всегда нужно складывать последовательно.

  • 22 блока слоев (более 100 слоев при индивидуальном рассмотрении).
  • Нет полностью связанных слоев.
  • Доказано, что оптимизированные непоследовательные структуры могут работать лучше, чем последовательные.

Исследовательский документ: «Углубление в свертки» - Кристиан Сегеди, Вей Лю, Янцин Цзя, Пьер Сермане, Скотт Рид, Драгомир Ангелов, Думитру Эрхан, Винсент Ванхаук, Эндрю Рабинович, Google Inc., Университет Северной Каролины, Чапел-Хилл, Университет из Мичигана, Анн-Арбор, Magic Leap Inc.

Microsoft ResNet - 2015

  • Выиграл ILSVRC 2015.
  • При уровне ошибок 3,6% ResNet имеет более высокую точность, чем человеческая (считается, что типичный человек имеет коэффициент ошибок около 5–10%).
  • Сверхглубокая (цитирую авторов статьи) архитектура со 152 слоями.
  • Введен остаточный блок для уменьшения переобучения.

Исследовательский документ: «Глубокое остаточное обучение для распознавания изображений» - Каймин Хэ, Сянюй Чжан, Шаоцин Рен, Цзянь Сунь, Microsoft Research

Поскольку модели глубокого обучения начинают превосходить человеческие способности, мы можем быть уверены, что в ближайшие годы увидим больше интересных моделей и достижений.

Является ли Deep Learning просто CNN?

Теперь, оглядываясь на наш список выше, вы можете задаться вопросом, является ли «глубокое обучение» просто сверточными нейронными сетями.

Не совсем.

Фактически, все следующие модели считаются Deep Learning.

  • Сверточные нейронные сети
  • Глубокая машина Больцмана
  • Сети глубокого убеждения
  • Составные автоэнкодеры

Но CNN являются наиболее "определенными" - и обращаются к более связанным проблемным областям - в области глубокого обучения, по крайней мере, на данный момент. Но имейте в виду, что CNN - это еще не вся картина глубокого обучения.

Пропустил ли я какой-нибудь этап глубокого обучения? Добавьте свои комментарии ниже и не забудьте поставить лайк статье.

Если вы хотите узнать больше о глубоком обучении, посмотрите мою книгу Build Deeper: Deep Learning Beginners’ Guide , которая теперь доступна на Amazon.

Также посетите мой блог Codes of Interest, чтобы познакомиться с глубоким обучением.

Смотрите также:

Что такое глубокое обучение? - Как возникло глубокое обучение и как оно связано с машинным обучением и искусственным интеллектом (да, они имеют в виду несколько разные вещи).

Ссылки по теме:

9 статей по глубокому обучению, о которых вам нужно знать - статья, которая вдохновила меня на написание этой статьи.

Первоначально опубликовано на www.codesofinterest.com 31 июля 2017 г.