«Сфера машинного обучения достаточно молода, чтобы быстро расширяться, часто за счет изобретения новых формализаций задач машинного обучения, основанных на практических приложениях».
- Майк Джордан, профессор статистического машинного обучения из Калифорнийского университета в Беркли, в недавнем обзоре парадигм обучения с учителем, без учителя и обучения с подкреплением.
Методы машинного обучения применимы к быстро растущему набору важных проблем. Столь же быстрый рост доступных данных для этих приложений. Наше постоянное стремление изобретать новые формализмы, движимые повышением эффективности решения практических задач, приводит к все более творческой композиции различных парадигм обучения, которые описывает Джордан. Взятые вместе, эти мотивирующие факторы вызывают бум новых исследований в области машинного обучения.
Эти силы приводят к буму как исследования новых подходов, так и совершенствования старых подходов, которые до недавнего времени были практически неосуществимы. Например, нейронные сети существуют с 1950-х годов, а глубокие нейронные сети существуют с 1980-х годов. Несмотря на свою долгую историю, глубокие сети начали развиваться совсем недавно в результате слияния нескольких тенденций - больших доступных наборов данных с новым оборудованием (например, NVIDIA и Nervana) и подходов к более быстрому обучению сетей.
Статьи по глубокому обучению составляли лишь ~ 0,15% статей по информатике в arXiv, опубликованных в начале 2012 года, но выросли в ~ 10 раз до ~ 1,4% к концу 2014 года. В 2016 году 80% статей на многих ведущих конференциях по НЛП представляют собой статьи по глубокому обучению. . Глубокие сети теперь демонстрируют современные результаты в приложениях в области компьютерного зрения, речи, НЛП, биоинформатики и в растущем списке других областей.
Хотя глубокие сети в настоящее время не поддаются интерпретации, мы видели, что ведется интересная работа по составлению глубоких сетей с классическим символическим ИИ, чтобы рассматривать логические программы как предварительную структуру в сети. Такой подход может позволить глубоким сетям изучать логические программы, которые в конечном итоге приводят к новым научным открытиям в ряде областей. Как упоминает Майк Джордан в цитате, открывающей этот пост, машинное обучение часто быстро развивается, когда мы изобретаем новые формализмы, основанные на выводах из практических приложений. Поскольку глубокие сети продолжают давать самые современные результаты для различных задач, усилия по изобретению новых формализмов являются областью в центре внимания, во многом так же, как попытки понять статистические свойства повышения, ведущие к более глубокому пониманию регуляризации в середине. 2000-е гг.
Исследователи машинного обучения, специализирующиеся на масштабных приложениях, разработали богатый набор методов для определения огромных объемов разнородных данных для их использования в давно устаревшей логистической регрессии и моделях деревьев решений. Поскольку этот подход является надежным и очень быстрым в производстве, подход «богатые функции с простыми моделями» поддерживает многие из крупнейших систем, которые мы используем каждый день, например ранжирование каналов новостей Facebook.
За прошедшие годы мы разработали несколько очень хитрых приемов, позволяющих превращать очень сложные проблемы в более простые. Один из важных наборов таких приемов включает в себя такие методы, как Вариационные методы, которые формулируют трудноразрешимые проблемы как приближенные задачи выпуклой оптимизации, а затем применяют хорошо изученные алгоритмы оптимизации, которые обеспечивают хорошую производительность и часто имеют быстрые параллельные и потоковые варианты.
Второй набор хитрых уловок включает в себя такие методы, как дистанционное наблюдение, самообучение или слабое наблюдение, для начала с недостаточным набором данных и постепенного увеличения количества данных для обучения с учителем. Используя эти методы, вы можете иметь или не иметь некоторые помеченные данные, у вас определенно есть куча немаркированных данных, и у вас есть `` функция '' (читай: грязный, но умный взлом), которая назначает зашумленные метки немаркированным данным - как только вы Если у вас много данных с шумными ярлыками, вы превратили проблему в ванильное обучение с учителем.
Третий набор уловок возникает из метода Transfer Learning - применения знаний, извлеченных из одной проблемы, к другой, но связанной проблеме. Трансферное обучение особенно захватывающе, потому что мы можем учиться на одном домене с большим количеством данных с совершенно другим пространством функций и распределением данных и применять эти знания для начальной загрузки другого домена, где у нас может быть гораздо меньше данных для работы.
