Когда мы разрабатываем модель машинного обучения, мы заявляем, что, по нашему мнению, системы, которые мы прогнозируем, будут вести себя так же, как и модель, после того, как будут изучены.
Таким образом, модель является априорной. Нейронные сети утверждают, что проблема может быть смоделирована с помощью слоев взвешенных дополнений с функцией смягчения.
Однако это предположение не работает, если вы хотите смоделировать простое умножение двух чисел. Независимо от того, сколько слоев или нейронов вы вводите, он никогда не научится умножению. Это будет довольно близко, но на самом деле это не очень полезно или эффективно, если вы моделировали систему, основанную на умножении.
Наши модели уже кодируют массивные априорные значения, которые, как мы надеемся, не сделают систему принципиально несовместимой с нашим набором задач. Как оказалось, обычно домены настолько малы, что любые такие операторы могут быть изучены с моделью достаточного размера, но это означает, что у нас есть большие и глупые модели, а не более мелкие и выразительные модели.
Он устанавливает жесткий предел эффективности, даже если этот предел на самом деле не достигается в повседневном машинном обучении.
Можно было бы легко привести аргументы в пользу более выразительных моделей, учитывающих умножение, деление и, возможно, даже псевдодвоичную логику. Эти системы также будут кодировать априорные значения, но они более свободны, и поэтому мы надеемся, что они дадут более эффективные конечные модели.
Очевидно, что при наших нынешних методах более сложные модели примитивов требуют новых, неизвестных механизмов обучения, которые в настоящее время представляют собой довольно неразрешимую проблему.
Можно, конечно, обнаружить, что повышенная выразительность очень мало влияет на общий размер модели, что означало бы, что она дает очень мало практических преимуществ (случай, когда основные априорные значения в значительной степени точны). Но не требуется большого изменения размера модели, чтобы значительно повысить надежность перед лицом меньших наборов данных.
