Это конец обратного распространения?
Новый алгоритм прямого распространения находится в разработке!!
Веса изучаются путем вычисления локального градиента — первый прямой проход выполняется с реальными данными, а второй прямой проход выполняется с отрицательными данными.
ДА! есть две отдельные фазы прямого обучения.
Это очень точно имитирует бодрствующее восприятие (мышление и обработка в течение дня) и восстановление БДГ, которое происходит в автономном режиме (во время сна)!
1) Эта концепция похожа на популярные в последнее время контрастные функции потерь. Вкратце: Contrastive loss берет выходные данные сети за положительный пример, вычисляет его расстояние до примера того же класса и сравнивает его с расстоянием до отрицательных примеров.
2) Этот подход также похож на GAN в том смысле, что реализация имеет несколько «локальных GAN». FF можно рассматривать как особый случай GAN, в котором каждый скрытый слой дискриминационной сети принимает свое собственное жадное решение о том, является ли вход положительным или отрицательным, поэтому нет необходимости в обратном распространении для изучения дискриминационной модели.
Подробнее на бумаге — https://www.cs.toronto.edu/~hinton/FFA13.pdf
Реализация — https://github.com/mohammadpz/pytorch_forward_forward
Изменит ли это глубокое обучение в том виде, в каком мы его знаем? 🤔
