Будущее всего за AI и ML. Я полностью в этом заинтересован. Не ищите доказательств моей убежденности в том, что в пятничном вечернем занятии по глубокому обучению я посещаю этот семестр, работая полный рабочий день. По мере того, как AI/ML становится повсеместным, стандарты адаптации в отрасли растут. Чтобы оставаться конкурентоспособными, фирмы и сотрудники должны быть готовы мыслить нестандартно и адаптировать передовой опыт других секторов.

я работаю в сфере финансов; в частности, в машинном обучении с фиксированным доходом. Глубокое обучение — это неуловимый зенит коммерчески доступных моделей в моей области, поскольку недостаточность данных и ограничения объяснимости затрудняют поиск правильной структуры. Академические исследования в этой области представляют выигрышные стратегии для акций и FX, и недавно эти методы были опробованы на данных с фиксированным доходом. В двух статьях в этом блоге рассматриваются методы, предлагаемые для различных классов финансовых активов, и намечается путь к успешной адаптации машинного обучения в алгоритмической торговле с фиксированным доходом.

Первая статья

Машинное обучение для улучшения моделей прогнозирования цен на облигации (Гангулл и др.)

Цель. Этот документ начинается с признания ограниченности машинного обучения в финансах; а именно отсутствие данных. Фактически, данные, которые сделали возможным это исследование, были предоставлены в конкурсе kaggle Benchmark, коммерческим поставщиком данных о ценах. Участникам было предложено предсказать цену следующей сделки с облигациями, и они оценивались по MAE (средняя абсолютная ошибка).

Данные

Используемые данные представляли собой отчетные данные о торговле 762 678 облигациями за определенный период времени. Для каждой облигации наблюдался 61 атрибут: 3 номинальных, 12 дискретных порядковых, 1 наблюдаемый весовой коэффициент и 45 непрерывных (отношений) атрибутов, включая реальную цену сделки. Категориальные признаки включались в качестве направления сделки (покупка, продажа или междилерский обмен), а купон по облигациям был примером непрерывного признака.

Как и в случае с данными о финансовых транзакциях. Было сопоставлено довольно много функций, таких как Цена последней сделки и Цена последней сделки на основе кривой. Временные ряды данных также оказались автокоррелированными. Наконец, данные были сильно несбалансированы. 89% облигаций были отзывными по сравнению с, например, нет. Это означало, что данные должны были быть отобраны с учетом дисбаланса во время перекрестной проверки.

Методы:

В документе был рассмотрен один и тот же набор торговых данных с использованием базовых методов обучения с учителем, ансамблевых методов, методов временных рядов и, наконец, глубокого обучения. Кроме того, они переопределяют метрику оценки. вместо средней абсолютной ошибки они создают взвешенную ошибку на выборку, которая взвешивает абсолютную ошибку.

Для каждой протестированной модели результаты были проверены с использованием алгоритма, изложенного ниже:

Алгоритм перекрестной проверки:
Шаг I Произвольно создайте 5 экземпляров тренировочных и тестовых наборов со сбалансированным весом.

Шаг II. Запустите алгоритм машинного обучения на каждом из этих 5 обучающих и тестовых наборов.

Шаг 3. Укажите соответствующую метрику (см. ниже) по каждому из 5 независимых запусков.

Шаг IV. Окончательное значение оценочной метрики – это среднее из этих 5 значений.

Было показано, что данные сбалансированы во время перекрестной проверки, поскольку веса связей в обучающем наборе совпадают с весами в тестовом наборе.

Реализация моделей

Базовой моделью была обобщенная линейная модель. Они справедливо предполагают нормальное распределение данных. Это они доказывают на основании результатов регрессии по методу наименьших квадратов (OLS) с использованием функций связи для нормального и гамма-распределения. Опять же, метрика оценки была взвешена для повышения производительности. Они выполняют метод взвешенных наименьших квадратов (WLS) с использованием оценочных весов, описанных выше, чтобы надлежащим образом определить, какие точки обрабатываются с наибольшей важностью в регрессии. WLS дает заметное улучшение на 3,1 ¢ по сравнению с OLS.

Чтобы улучшить GLM, авторы выполняют регрессию основных компонентов, чтобы уменьшить набор функций. Набор данных уменьшен до 23 функций с 61. На рисунке ниже показана дельта производительности в зависимости от количества функций. Данные показали, что только 3 наиболее понятные функции могут привести к ошибке в 1,2637 доллара США VS. $0,9191 в наборе из 23 функций.

Затем авторы переходят к методам регрессии опорных векторов, деревьев регрессии, случайного леса и гибридных временных рядов. Они используют обычные параметры и получают посредственные результаты.

Последней структурой модели, использованной в статье, была двухслойная нейронная сеть, обученная с помощью алгоритма оптимизации Левенберга-Марквардта и простого обратного распространения. Эта модель показала лучшие результаты, сократив WEPS до 73c за 2 часа.

Сравнение моделей

Авторы представляют производительность модели в краткой таблице, показывая, что наиболее эффективной моделью без переобучения была нейронная сеть с прямой связью. В то время как GLM добился немного худших результатов, но с гораздо меньшим временем обучения.

В заключении статьи авторы утверждают, что нейронные сети заслуживают места в стратегиях ценообразования на облигации, но отмечают, что для улучшения ситуации потребуется больше данных.

Второй документ

Углубленное обучение трейдингу

Учитывая первую попытку определения цены облигаций с использованием всех доступных методологий, во втором документе та же методология применяется к различным классам активов. Авторы стремятся оценивать фьючерсы на товары, фондовые индексы, рынки с фиксированным доходом и валютные рынки, используя структуру алгоритма глубокого обучения с подкреплением.

Цель

Цель этой статьи состояла в том, чтобы создать структуру ценообразования, которая не только обладала бы хорошей предсказательной силой, но и сигналом, который мог бы последовательно производить хорошие направленные вызовы. Таким образом, модель не предсказывает цену сделки, а обновляет состояние активов портфеля в каждый момент времени. Для этого авторы исходят из современной портфельной теории. Что это значит? Сначала они предполагают рационального инвестора и дискретизируют временной горизонт. В данный момент времени инвестор стремится максимизировать полезность, используя следующую функцию:

Таким образом, общее богатство зависит от последовательности взаимозависимых действий, когда оптимальные торговые решения не только определяют немедленную прибыль от торговли, но также влияют на последующие будущие доходы. Для нейтрального к риску инвестора единственное, что нужно максимизировать в приведенном выше уравнении, — это доходность, которая представлена ​​в приведенном ниже уравнении:

В дополнение к функции потерь авторы определяют пространства состояний. Пространства состояний важны, потому что они состоят из функций, существующих в данный момент времени, с помощью которых алгоритм достигает цены. В статье последние 60 наблюдений за связью образуют пространство состояний. Создаются дополнительные функции в пространстве состояний; включая MACD схождения-расхождения скользящих средних и индекс относительной силы, которые являются техническими индикаторами. Мой партнер по семинару, на статью которого я ссылаюсь ниже, подробно описывает MACD, но для целей этой таблицы индикаторы MACD определяются следующим образом:

Пространство действия, как следует из названия, — это действие, предпринимаемое алгоритмом. Поскольку это торговый алгоритм, мы ожидаем следующие три действия: Купить, Продать, Ничего не делать. Конечно, у нас может быть непрерывное пространство действий, в котором значения меняются от -1 до 1, но мы можем дискретизировать эти непрерывные значения до трех указанных после того, как модель выдаст свой результат.

Таким образом, с определенными пространствами состояний функций потерь и пространствами действий авторы выбирают одну из нескольких различных структур обучения с подкреплением.

3 используемых алгоритма обучения с подкреплением описаны и подвергнуты критике здесь:

Сети глубокого обучения (DQN): в этой структуре учащийся только оценивает, насколько хорошим было предпринятое действие. Это модель критика, которая может гоняться за хвостами, поскольку всегда смотрит назад. Авторы пытаются смягчить явление погони за хвостами, используя отдельную сеть для получения целевых значений.

Градиенты политик (PG): эта структура использует второй подход, оптимизируя само действие. Это считается актерской моделью. Однако, как обнаружили авторы, модель может застревать в локальных максимумах и слишком долго обучаться.

Преимущество «Актер-критик» (A2C): это объясняет недостатки PG за счет сокращения времени обучения. Он делает это, обновляя политику в режиме реального времени. Есть две модели: модель актора, выдающая политику, и сеть критиков, оценивающая ее. Это единственное из трех, имеющее непрерывное пространство для действий.

Базовая модель.Приведенные выше три модели сравниваются с базовой моделью "Только длинные" и некоторыми дополнительными простыми моделями.

Производительность

Неудивительно, что модели глубокого обучения показали лучшие результаты, чем базовые модели, во всех классах активов, кроме фьючерсов на акции.

В табличной форме,

В частности, DQN был самым эффективным RL в группе. Это означает, что ретроспективный алгоритм, который с меньшей вероятностью застрянет на локальных максимумах, является лучшим выбором для максимизации общего дохода.

При определении следующих шагов авторы признают, что большинство инвесторов принимают во внимание риск, поэтому было бы целесообразно изучить изменение цели для максимизации функции эффективности с поправкой на риск, такой как коэффициент Шарпа.

Итак, что все это значит?

Машинное обучение с фиксированным доходом уже здесь, и оно конкурентоспособно по сравнению с другими фреймворками, даже несмотря на то, что оно требует больших объемов данных. Хотя наиболее передовые стратегии, скорее всего, будут сначала опробованы на акциях, приятно осознавать, что жизнеспособная реализация фиксированной доходности никогда не будет далеко позади.

Мой партнер по семинару Deep Learning продолжает это исследование в своей статье здесь: https://medium.com/@jz3409/risk-management-with-deep-learning-in-automated-trading-59217b5d9ce0.

Ссылка:
1. arxiv.org/abs/1705.01142: Машинное обучение для улучшения моделей прогнозирования цен на облигации

2. https://doi.org/10.3905/jfds.2020.1.030 Глубокое обучение трейдингу с подкреплением