Ежедневный совет по анализу данных - № 7
Краткое введение в переоснащение машинного обучения и нейронных сетей.
Переобучение происходит, когда обученная модель обобщает обучающие данные и не может точно предсказать невидимые данные. Это происходит потому, что модель слишком внимательно изучила особенности обучающих данных, включая шум.
Переобучение также может произойти, если обучающие данные не точно представляют распределение тестовых данных.
Переобучение можно исправить, уменьшив количество функций в обучающих данных и снизив сложность сети с помощью различных методов.
Методы регуляризации снижают вероятность переобучения нейронной сети за счет ограничения диапазона значений, которые удерживаются значениями весов в сети.
