Глубокое обучение — это исследование моделей обучения с многоуровневыми представлениями:

  • Многослойная (прямая) нейронная сеть
  • Многослойная графическая модель (сеть глубокого доверия, глубокие машины Больцмана)

Каждый слой соответствует «распределенному представлению» (векторы единиц, каждая из которых представляет наличие определенного признака).

  • Единицы в слое не являются взаимоисключающими
  • Каждая единица является отдельной функцией ввода
  • Два устройства могут быть «активными» одновременно
  • Они не соответствуют разделению (кластеризации) входных данных.
  • При кластеризации вход может принадлежать только одному кластеру.

Теоретическое обоснование:

  • Глубокая архитектура может представлять определенные функции (экспоненциально) более компактно.

Пример: логические функции

  • Логическая схема — это своего рода сеть с прямой связью, в которой скрытые элементы являются логическими вентилями.
  • любая логическая функция может быть представлена ​​логической схемой «один скрытый слой»
  • Однако для этого может потребоваться экспоненциальное количество скрытых единиц.
  • Можно показать, что существуют булевы функции, которые
  • Требовать экспоненциальное количество скрытых единиц в случае с одним слоем
  • Требовать полиномиальное количество скрытых единиц, если мы можем принять количество слоев.

Сложность обучения:

Первая гипотеза: оптимизация сложнее (недообучение):

  • Проблема исчезающего градиента
  • Насыщенные единицы блокируют распространение градиента

Как мы знаем из алгоритма обратного распространения, всякий раз, когда мы берем градиент активации юнита, мы передаем этот градиент, чтобы получить градиент предварительной активации. Затем мы должны умножить на частную производную активации по отношению к предварительной активации.
Теперь, если скрытая единица находится вблизи ядра точки насыщения, то есть ее активация близка к самому высокому или самому низкому значению. Это означает, что частная производная относительно предварительной активации будет очень близка к нулю, а это означает, что все градиенты, возвращаемые к другим слоям ниже, будут очень близки к нулю. Если вы повторяете этот процесс много раз и у нас есть много насыщенных скрытых единиц, это означает, что, мы все ближе и ближе подходим к входному слою, мы получаем градиенты все ближе и ближе к нулю. Вот почему мы говорим, что градиент исчезает!

На самом деле мы хотим, чтобы наши юниты были насыщенными и преимущество нелинейности. Ах! Вот Дилемма!

Вторая гипотеза: переобучение

  • Мы исследуем пространство сложных функций.
  • Глубокие сети обычно имеют множество параметров (высокая дисперсия и низкое смещение).

В зависимости от проблемы доминирует та или иная ситуация

  • Если первая гипотеза (недообучение): используйте лучшую оптимизацию (это активная область исследований)
  • Если вторая гипотеза (переоснащение): используйте лучшую регурализацию
  • Неконтролируемое обучение
  • Stocastic отсева обучение

Хорошо, это пока! Спасибо, что потратили свое время. Ваше здоровье!