Так ли непредсказуемы фондовые рынки, как мы думаем?

Несмотря на то, что на пути алго-трейдинга стоит множество проблем, передовые технологии искусственного интеллекта могут помочь вам обыграть рынки.

I Know First — это компания, которая занимается ежедневным прогнозированием фондового рынка и использует продвинутый искусственный интеллект для прогнозирования динамики более 10 000 финансовых инструментов.

Возникновение машинного обучения и вездесущих ИИ ставит перед человечеством множество вопросов, поскольку оно вступает в эпоху, когда все вокруг имеет в своем названии слово «умный». Как мы можем убедиться, что умные машины не оставят людей без работы и, таким образом, смогут поддерживать себя? Как нам сохранить конфиденциальность людей в то время, когда данные, топливо ИИ, являются таким важным фактором для бизнеса? Дойдем ли мы когда-нибудь до того момента, когда передовая математика сможет приблизиться к человеческому познанию со всеми его достоинствами и недостатками, и как нам оставаться людьми в эпоху сингулярности?

Все это хорошие и обоснованные вопросы для размышления, но есть также десятки и десятки более прагматичных вещей, которые следует учитывать. Одним из них является то, как технология ИИ преобразует финансовый сектор, и здесь одна из самых сложных, но самых заманчивых задач для машинного обучения заключается в следующем: могут ли ИИ предсказывать фондовый рынок с эффективностью, которая оставляет позади традиционные инвестиционные стратегии. ? Смогут ли ИИ победить фондовый рынок?

Нет, не могут, утверждает недавняя статья, опубликованная Bloomberg, или, по крайней мере, не в ближайшем будущем. Рыночные данные, поступающие в ИИ, нестационарны, меняются на ходу, шумов больше, чем сигналов, к большому замешательству ИИ, пытающихся отфильтровать все первое и сосредоточиться на втором, и есть десятки деталей и сложностей, которые должны учитываться моделью, чтобы инвесторы могли получать стабильную прибыль.

Итак, все это хорошие и важные моменты, которые определенно стоит принимать во внимание при любом обсуждении будущего ИИ в торговле. Однако здесь, в I Know First, мы считаем, что рынки, напротив, в значительной степени предсказуемы. Точность в 100% действительно может быть мифом на данный момент, но стабильная прибыль от торговли, управляемой ИИ, все еще очень возможна, о чем свидетельствуют примеры, приведенные в оригинальной статье, и наши собственные оценки такие как эта. Кроме того, вам не обязательно быть толстосумом с Уолл-стрит, чтобы иметь доступ к продвинутым алгоритмическим прогнозам акций и получать от этого прибыль. Так что же делает рынки более предсказуемыми, чем мы думаем? Давайте узнаем.

Данные меняются, как и модели

Как справедливо отмечено в оригинальной статье, данные финансового рынка подвержены изменениям. Это относится к процентным ставкам, доходам и расходам различных публично торгуемых компаний, а также сотням других факторов, на которые обратил бы внимание опытный финансовый консультант. Все это может влиять на динамику различных акций, секторов и рынков и, таким образом, актуально для алгоритма машинного обучения.

Теперь, в машинном обучении во всех его видах и формах, одним из фундаментальных решений, которые должны принять разработчики, является компромисс между предвзятостью и дисперсией. По сути, это сводится к следующему вопросу: где та точка, за которой модель, обученная на наборе данных А, настолько подстраивается под этот конкретный набор данных, что уже не способна адекватно обрабатывать новые данные? Где тонкая грань между слишком общей и слишком конкретной моделью?

При работе с нестационарным набором данных этот вопрос имеет особое значение, поскольку будущие изменения приливов и отливов могут сильно сбивать с толку ИИ. Например, ИИ, обученный на историческом наборе данных, охватывающем длительный бычий период, может полностью потерять связь с реальностью, когда медведи выходят из-под контроля. На фондовых рынках вам часто приходится ожидать неожиданностей и готовиться к менее чем вероятным сценариям, и статистические выводы не слишком хороши с этим… Ну, если только вы не поработаете с теорией хаоса, но мы сохраним этот момент. Для последующего.

На данный момент проблема заключается в том, что ИИ плохо справляются с данными, которые имеют тенденцию развиваться на ходу, и именно поэтому они должны развиваться вместе с ними.

Введите обучение с подкреплением, технику, имитирующую то, как мы, люди, взаимодействуем с нашим миром, исследуя его. Идея заключается в следующем: ИИ пытается максимизировать вознаграждение (то есть параметр, представляющий результат, который люди хотят получить от этого ИИ) посредством взаимодействия с окружающей средой. После каждого взаимодействия он переконфигурирует свои модели на основе информации, полученной в результате этих взаимодействий, и пытается снова. Этот метод популярен в сфере искусственного интеллекта: например, инженеры Google использовали этот подход, чтобы научить модель ходить и находить дорогу через цифровую полосу препятствий.

Аналогичным образом наш прогнозирующий акции ИИ может учиться на своих собственных успехах и неудачах и каждый день перенастраивать свои приблизительные представления о внутренней работе рынка по мере поступления новых данных. Конечно, по-прежнему важно учитывать историческую перспективу, чтобы избежать чрезмерного приспособления ИИ к тому, что происходит сегодня, но это в значительной степени вопрос тонкой настройки функции затрат. То есть, по крайней мере, до тех пор, пока ИИ, о котором мы говорим, был обучен набору исторических рыночных данных, а не просто брошен в бой с места в карьер.

Таким образом, мы утверждаем, что, хотя ИИ в основном должен иметь компонент обучения с подкреплением, чтобы соответствовать динамике рынка, его реализация позволяет нам учитывать тот факт, что данные нестационарны до такой степени, что позволяет вышеупомянутый ИИ должен быть коммерчески значимым.

Слишком много шума? Теория хаоса спешит на помощь

Как справедливо отмечено в оригинальной статье, помимо того, что данные фондового рынка подвержены изменениям, они имеют тенденцию быть довольно зашумленными. Другими словами, не всегда сразу понятно, почему акции B ведут себя именно так, как сегодня, и это действительно может сбивать с толку ИИ, пытающихся найти тенденции и закономерности в спекуляциях. Что поделаешь, спрашивается, трейдинг не всегда является вполне рациональным процессом: когда напряжение накаляется, инвестиционные решения могут приниматься на чистых эмоциях. Или на слух, который окажется подделкой. В качестве альтернативы может произойти что-то вроде 11 сентября, что вызовет шоковые волны на рынках, или пара строк в компьютерном коде на фондовой бирже могут спровоцировать массовую распродажу.

Звучит немного хаотично, не так ли? Ну это "потому что есть".

Здесь, возможно, стоит отметить, что такое хаотическая система. Хаотическая динамическая система — это система, которая может быть выведена из равновесия относительно небольшим событием, которое на первый взгляд даже может показаться не таким уж важным. Помните известную метафору: бабочка в Бразилии вызывает торнадо в Техасе только благодаря мирному взмаху крыльев? Это именно то, о чем мы говорим здесь. Фондовые рынки, где тысячи участников формируют ценовую динамику своими порой менее чем рациональными решениями, довольно легко представить в виде таких сложных динамических систем.

Возвращаясь к внезапным пикам и всплескам, мы можем сказать, что, говоря статистически, такие события имеют очень низкую вероятность, относящуюся к самым хвостам нормального распределения. Однако в хаотической системе эти события не так уж маловероятны, как, наверное, уже заметили все, кто работает с фондовыми рынками. Это означает, что наша прогностическая модель не может предполагать, что они исходят из нормального распределения; мы имеем дело с толстым хвостом, где более вероятны экстремальные сценарии. Чтобы объяснить это, мы будем полагаться на фрактальный анализ временных рядов, а не на классический алгоритм. Все это поможет нам отфильтровать шум.

Теперь в этом разделе оригинальной статьи также говорится о тревожной нехватке исторических данных для обучения нашей модели. Поскольку торговые записи могут быть восстановлены за период примерно до 1900 года, это оставляет нам данные за 118 лет для обучения нашей модели, что звучит не слишком оптимистично. Особенно, если мы смотрим на годичный временной горизонт, то есть пытаемся спрогнозировать динамику в годовом исчислении.

Это очень справедливое замечание, особенно если принять во внимание тот факт, что такие модели, как нейронные сети, лучше всего проявляют себя именно тогда, когда им дают гигантские наборы данных, которые они могут пережевывать. Однако мы утверждаем, что не все так безнадежно на этом фронте.

Признавая всю законность опасений, мы также должны указать на тот факт, что с точки зрения обучения алгоритма прогнозирования временных рядов главный вопрос, когда речь идет о данных, заключается не в том, достаточно ли они велики, чтобы удовлетворить самые голодные нейронные сети. Главный вопрос заключается в том, достаточно ли данных для того, чтобы алгоритм уловил сезонные закономерности в данных. В случае с каждым набором данных это должно быть рассчитано отдельно.

Однако в качестве аргумента мы можем указать на общепринятое мнение о том, что набор данных, охватывающий от 2 до 6 итераций сезона, частью которого является наш временной горизонт прогнозирования, подойдет как минимум, в зависимости от точной используемой модели. Другими словами, если мы хотим прогнозировать что-то по неделям, нам потребуется набор данных, охватывающий от 2 до 6 месяцев. Таким образом, для ежегодных прогнозов имеет смысл охватить от 2 до 6 десятилетий. Кроме того, если мы переключимся на меньшую единицу времени, наш набор данных за 118 лет будет экспоненциально расти, что даст достаточно данных для работы алгоритма.

State Of Singularity, Wall Street Edition

Завершая наши рассуждения и высоко оценивая замечания, сделанные в оригинальной статье о глубоком обучении и проскальзывании цен на акции, мы можем провести интересный мысленный эксперимент и поставить под сомнение саму основу рассматриваемой проблемы. То есть, действительно ли мы хотим, чтобы алгоритм, каким бы продвинутым он ни был, управлял нашими финансами, или нужно привести доводы в пользу принятия решений человеком, подкрепленного возможностями ИИ?

Этот вопрос нацелен на саму основу человеческого познания по сравнению с ИИ. Мы, люди, как утверждает дисциплина управления знаниями, начинаем с данных, чтобы извлекать из них информацию. Данные в этой схеме в основном являются самыми необработанными из необработанных, а информация касается шаблонов и корреляций в этих данных. Оттуда мы переходим к знаниям, которые, строго говоря, представляют собой наше понимание информации, усиленное несколькими итерациями и значительно более полное и детализированное. Именно здесь мы выходим за пределы корреляции и устанавливаем причинно-следственную связь. Оттуда мы идем к мудрости — нашей способности использовать эти знания для достижения желаемых результатов.

Теперь также можно изменить порядок и утверждать, что наше знание мира определяет информацию, которую мы хотим извлечь из него, что, в свою очередь, указывает нам, какие данные мы стремимся собрать. Это, опять же, делает хороший мысленный эксперимент, но уводит нас от фактической точки зрения — что для компьютеров все в значительной степени ограничивается информацией. В своей нынешней форме ИИ обрабатывают входные данные, какими бы сложными и огромными они ни были, устанавливают в них статистически значимые закономерности и генерируют выходные данные на их основе. На самом деле они не устанавливают причинно-следственную связь, лучшее, что они могут сделать на этом фронте, — это приблизительный смысл и логика с помощью очень сложной математики. Но эти приближения не соответствуют тому, на что способно человеческое познание.

Есть и другой конец палки — никакое человеческое познание не может обрабатывать числа со скоростью ИИ. Кроме того, эксперимент Google с древней игрой Го, в которой ИИ, основанный на глубоком обучении, придумал ходы, которые стали сюрпризом для легендарного игрока-человека. И это самая изученная настольная игра в истории! Урок, который следует здесь усвоить, состоит в том, что самообучающиеся ИИ иногда могут замечать вещи, которые замечают вещи, которые остались бы незамеченными людьми.

Это, в конечном счете, заставляет нас поверить, что будущее не за ИИ, выполняющим всю торговлю и инвестирование, а за доступом к лучшим мирам — за людьми, управляющими портфелями, которые принимают свои решения с помощью передовых инструментов на основе ИИ.

Таким образом, чтобы по-настоящему победить рынок, ИИ придется работать рука об руку с людьми.

I Know First — это компания по ежедневному прогнозированию фондового рынка, основанная на искусственном интеллекте, базирующаяся в Тель-Авиве, Израиль. Чтобы получить больше подобного контента, подпишитесь на нашу еженедельную рассылку, следите за нами в Twitter, Facebook и LinkedIn.

Хотите связаться? Не стесняйтесь обращаться к нам по адресу [email protected].