Ежемесячный выпуск

Сентябрьское издание: вероятностное программирование

Моделирование очень сложного мира вокруг нас

Мы - невероятный вид: мы чрезвычайно интересуемся окружающим миром, любим учиться и часто находим новые способы и инструменты для этого. Одним из таких достижений за последние пару десятилетий стали вычисления. Улучшив архитектуру вычислительных механизмов, мы стали лучше моделировать сложную динамику, перечислять большое количество потенциальных результатов и выполнять быстрые вычисления по этим обширным наборам возможностей. Все эти события способствовали нашему пониманию мира вокруг нас. В частности, машинное обучение (ML) предоставило нам очень гибкий и мощный набор инструментов для прогнозирования, понимания и анализа будущего. В то время как нынешние современные методы превосходны в достижении первой цели, прогресс в достижении двух последних был медленным. Одна из причин этого - перспектива. Мир по своей сути сложен.

Более того, события или результаты часто являются результатом нелинейных взаимодействий между множеством факторов. Часто мы не располагаем информацией о полном списке влияющих факторов или о том, как они взаимодействуют для достижения наблюдаемого результата. Эти атрибуты чрезвычайно затрудняют прогнозирование реальных событий. Сообщество машинного обучения подошло к этой задаче, используя две принципиально разные парадигмы построения моделей. Они есть:

  1. Дискриминационный
  2. Генеративный

Большинство моделей, о которых мы узнаем в школе и слышим в новостях, подпадают под дискриминационную категорию. Основное внимание в этой структуре уделяется точности прогнозов. Вместо того, чтобы навязывать строгие предположения о том, как взаимодействуют факторы, наблюдаемые данные направляют процесс выявления отношений. Глубокие нейронные сети, обученные в рамках этой парадигмы, вытеснили человеческий уровень в решении широкого круга задач, в первую очередь из-за упора на точность прогнозирования. Хотя это очень впечатляет, у этих моделей есть свои ограничения. В частности, высокоточные сети невероятно сложны и требуют большого количества обучающих данных для достижения производительности человеческого уровня. Часто эти модели обмениваются интерпретируемостью в обмен на превосходные характеристики. Это и хорошо, и плохо.

С одной стороны, нам нужны очень точные предсказания будущего. Точность - это то, что позволяет нам хорошо планировать и преуспевать перед лицом неопределенных результатов. Однако труднообъяснимые модели вызывают большой скептицизм и отталкивают людей. Недостаток доверия - вот что сужает область применения этих мощных алгоритмов. Сложность также мешает нам рассуждать о будущем. Что произойдет, если я выберу путь A вместо пути B? Путь B короче, чем путь A? Статистики разработали обширный инструментарий, чтобы ответить на подобные вопросы. Сделать это в рамках дискриминационной парадигмы сложно, поскольку этот способ мышления не пытается явно смоделировать внутреннюю неопределенность.

Генеративная парадигма решает именно эту проблему. Эта школа мысли предполагает делать предположения о мире, а не уклоняться от него. Любой, кто знаком с классом статистики, знает, что статистические модели позволяют придать неопределенности функциональную форму. Эти модели позволяют нам выразить уверенность в наших прогнозах. Они позволяют нам строить гипотезы о возможных результатах. Подобные действия позволяют нам размышлять о будущем и принимать решения на основе новой информации. Каждый студент, изучающий статистику 101, также знает, что все эти модели часто делают строгие допущения. Иногда эти предположения нарушаются, а иногда они просто ошибочны.

Что еще хуже, некоторые из этих моделей плохо аппроксимируют явления реального мира. Этот недостаток в первую очередь связан с неспособностью этих моделей учесть больше, чем несколько потенциальных переменных, которые могут повлиять на интересующий результат. Хотя вы, читатель, возможно, прямо сейчас захотите бросить это полотенце, я призываю вас не делать этого. Разработчики генеративных моделей также опасаются построения плохих приближений мира. Однако, в отличие от своих отличительных аналогов, они объединили воедино концепции из информатики, статистики и разработки программного обеспечения для решения вышеперечисленных проблем. Результатом является класс моделей, называемых вероятностными графическими моделями (PGM).

Эти графики позволяют нам использовать столько переменных, сколько мы считаем нужным, для моделирования очень сложного мира вокруг нас. Они позволяют нам связывать некоторые, многие или все эти переменные друг с другом. Они также дают нам возможность гибко определять, как информация должна проходить через сеть. Должна ли информация перемещаться от узла A к узлу B или, возможно, от узла B к узлу A? Возможно, мы оставим это неопределенным, потому что у нас нет твердого убеждения в том, как сигналы должны проходить через наше приближение к миру. Сильные предположения МПГ позволяют им строить разреженные модели. Эти предположения также позволяют этим сетям обучаться с гораздо меньшим количеством точек данных, чем дискриминативные модели. Эти особенности сродни тому, как человек формирует мысленный образ того, как устроен мир, и опрашивает его, чтобы определить, как вести себя в незнакомой обстановке.

Помимо построения точной модели, еще одной проблемой, препятствующей широкому распространению PGM, являются вычисления. Хранение распределений по множеству случайных величин и обновление их распределений затруднительно с вычислительной точки зрения. Эти ограничения, как правило, являются артефактами того, как PGM кодируются с использованием современных языков программирования и структур данных. Таким образом, практикующие разработали новую парадигму программирования, называемую вероятностным программированием, чтобы обойти эти проблемы. Эти языки рассматривают случайные величины и распределения вероятностей как первоклассных граждан. В результате этих разработок и целого ряда связанных с ними разработок (например, вариационного Байеса) стало проще создавать все более сложные МПГ. Эти нововведения также сократили время на опрос этих моделей и обоснование возможных действий.

Генеративные модели еще не пользовались тем вниманием, которое в последнее время привлекли дискриминирующие модели. Я надеюсь, что это вступление побудит всех вас заглянуть в этот альтернативный образ мыслей. Если вы хотите узнать больше об этой теме, я настоятельно рекомендую всем вам ознакомиться с некоторыми из фантастических статей, написанных по этой теме.

Абдулла Фарук, редактор-волонтер TDS

Введение в вероятностные графические модели

Направленные графические модели и неориентированные графические модели

Автор Бранислав Холландер - 11 мин.

Заставляем вашу нейронную сеть говорить« я не знаю - байесовские нейронные сети с использованием Pyro и PyTorch»

Большая часть интеллекта не действует, когда человек не уверен

Автор Парас Чопра - 17 мин.

Генеративные и дискриминационные вероятностные графические модели

Сравнение наивного байесовского метода и логистической регрессии

Автор Сивэй Цушевич - 5 мин.

Вариационный байесовский кодекс: интуиция, лежащая в основе вариационных автокодировщиков (VAE)

Понимание мощной идеи, лежащей в основе современных моделей

Автор Анвеш Марваде - 7 мин.

Введение в вероятностное программирование

Вариант использования с использованием Tensorflow-Probability (TFP)

Автор Фабиана Клементе - 6 мин.

Фундаментальные проблемы вероятностного вывода

Зачем вам нужна выборка, если вы практикуете машинное обучение?

Автор Марин Властелица Поганчич - 6 мин.

Мы также благодарим всех замечательных новых писателей, которые недавно присоединились к нам: Ошин Датта, Ренато Филлинич, Омри Кадури, Лили Чен , Бен Уильямс, Ян Гэйбл, Джонатан Лазерсон, доктор философии, Джоанна Ленчук, ЧиаЧонг , Humam Abo Alraja, Jindu Kwentua, Пьетро Барбьеро, Дайана Форд, Педро Брито , Деннис Фэн, Ян Чжоу, Дэйв ДеКаприо, Арчит Ядав, Цзя Йи Чан, Арпана Мехта, Рахул Санголе, Ананья Бхаттачарья, Рохан Сукумаран, Вэй Хао Хунг, Арнав Бандекар, Цике (Макс) Ли, Шаянтан Банерджи, Лиджо Абрахам, Джейк Митчелл, З. Мария Ван, доктор философии, Дениз, Нам Нгуен, Ки Итикава, Линдси Монтанари, Дэвис Трейбиг, Ванесса Вонг, Пуйя Амини, Дамиан Эйджли, доктор философии, ведант Беди , jonloyens, Ибрагим Кован, сандипаян, Масаки Адачи, Чиа Вей Лим , Решма Шаджи, Вианни Таке и многие другие. Мы приглашаем вас взглянуть на их профили и проверить их работу.