Случайные переменные и случайные процессы

Во-первых, перед тем, как мы перейдем к цепям Маркова, необходимо освежить в памяти некоторые фундаментальные понятия теории вероятностей.

В нематематическом смысле случайная величина есть следствие события. X Этот результат может быть числом (или чем-то «числовоподобным», например, вектором). Случайные переменные похожи на броски игральных костей или подбрасывание монеты (не число, если только вы не присвоите, например, 0 орлу и 1 решке). Нормальная случайная величина и случайная величина Пуассона имеют соответственно дискретное и непрерывное пространства результатов.

Курс машинного обучения может быть полезен, чтобы узнать больше об этой теме.

Таким образом, случайные процессы (также известные как стохастические процессы) могут быть определены как набор случайных величин, индексированных набором данных T, которые часто представляют различные моменты времени (мы будем предполагать это в дальнейшем). T - это либо набор натуральных чисел (случайный процесс с дискретным временем), либо набор действительных чисел (случайный процесс с непрерывным временем) (случайный процесс с непрерывным временем). Цена опциона на фондовом рынке является примером случайного процесса с непрерывным временем, тогда как подбрасывание монеты каждый день является примером случайного процесса с дискретным временем. Непрерывное или дискретное пространство состояний также мыслимо для случайных величин, которые могут быть независимыми или зависимыми в любой данный момент времени, а также иметь непрерывное или дискретное пространство состояний (пространство возможных исходов в каждый момент времени).

Свойство Маркова и цепь Маркова

Процессы Пуассона, модели авторегрессии, модели скользящего среднего и цепи Маркова являются случайными процессами. Каждый пример имеет определенные качества, которые помогают нам анализировать и понимать его.

«Марковское свойство» облегчает анализ случайных процессов. Свойство Маркова утверждает, что, зная значение процесса в данный момент, мы не можем предсказать его поведение в будущем, изучая его историю. Учитывая текущее состояние и предшествующие состояния, только текущее состояние влияет на условное распределение будущих состояний (свойство без памяти). Случайный марковский процесс обладает марковским свойством.

Это определение однородных цепей Маркова с дискретным временем (далее для удобства обозначаемых как цепи Маркова) основано на предыдущем. Когда дело доходит до цепи Маркова, время и пространство состояний дискретны. Цепи Маркова — это последовательности состояний, каждое из которых выбирается из дискретного пространства состояний, каждое из которых соответствует правилу Маркова. Курс Наука о данных и машинное обучение может улучшить ваши навыки.

Характеризация случайной динамики цепи Маркова

В предыдущем разделе мы предоставили универсальную основу, которую можно применить к любой цепи Маркова. Давайте посмотрим, что нам нужно для определения конкретного «экземпляра» случайного процесса, чтобы получить более ясную картину. Случайный процесс, который не удовлетворяет марковскому свойству, может быть трудно полностью охарактеризовать, поскольку распределение вероятностей в конкретный момент может зависеть от одного или нескольких моментов в прошлом и/или будущем. Хорошее описание процесса может оказаться сложной задачей из-за различных временных зависимостей.

Применения цепей Маркова

Цепи Маркова имеют множество применений. Вот несколько наиболее распространенных вариантов их использования:

  1. Сеть рассматривается как марковская модель алгоритмом Google PageRank. Каждую веб-страницу можно рассматривать как состояние, а ссылки между ними представляют собой переходы с заранее заданными вероятностями. Можно с уверенностью сказать, что независимо от того, что вы ищете в Google, существует определенная вероятность того, что вы попадете на определенный веб-сайт.
  2. Для тех, кто использует Gmail, инструмент автозаполнения просто необходим. Используя этот инструмент, вы сможете составлять электронные письма за считанные секунды. Цепи Маркова очень полезны в этой области, поскольку они способны делать точные прогнозы такого рода.
  3. Вам знаком Reddit? Существует множество сабреддитов (сообществ на Reddit), посвященных определенным темам, что делает его важной платформой для социальных сетей. Цепи и модели Маркова используются для моделирования субреддитов, чтобы лучше их понять.

Онлайн-курс по машинному обучению поможет вам лучше понять эту тему.