Сравнение результатов драфта в фэнтези-футболе, подготовленных моделями Fantasy Outliers за 2017 год, с рейтингами ESPN и Expert Consensus

Наши прогнозы сезона фэнтези-футбола на 2018 год теперь доступны БЕСПЛАТНО в этой Великолепной таблице Google и в этой Интерактивной диаграмме.

На прошлой неделе мы публикуем три статьи, в которых рассказывается, как наши еженедельные прогнозы во многих отношениях превосходят прошлогодний ESPN. (Если вам интересно, хорошей отправной точкой является сводка результатов). Сегодня мы расскажем, как наши годовые модели сравниваются с прогнозами годовых точек ESPN и предсезонными консенсусными рейтингами экспертов.

Если вы не знакомы с Fantasy Outliers, то мы небольшая группа поклонников фэнтези-футбола и специалистов по анализу данных (привет, привет), которые делают эту работу, потому что ...

Мы считаем, что человеческий опыт в сочетании с машинным обучением лучше, чем любой другой.

Теперь позвольте мне сначала сказать, что мы не документировали наши ручные корректировки этих годовых прогнозов в прошлом году. Итак, следующий анализ будет сравнивать наши нескорректированные результаты моделей с ESPN и консенсусом экспертов. Очевидно, что в межсезонье НФЛ может произойти многое, и какой-либо одной модели сложно учесть все изменения. Таким образом, на практике можно было разумно ожидать, что результаты, скорректированные вручную, будут лучше.

Кроме того, из-за того, что мы ограничены небольшим размером выборки, трудно сказать что-то вроде: Да, с вероятностью 99% наши 10 прогнозов по бегу назад были лучше, чем X. Успех или неудача на драфте во многом зависит от нескольких индивидуальных решений, и, честно говоря, от удачи. Так что, к сожалению, результаты этого сравнения менее однозначны, чем результаты нашего еженедельного сравнения моделей.

С учетом этих заявлений об отказе от ответственности ниже мы рассмотрим:

  • как наши модели прогнозов общего количества баллов и общего рейтинга по сравнению с ESPN, а затем,
  • сравните наш рейтинг внутри позиции с рейтингом ESPN и консенсусным рейтингом экспертов (ECR).

Сводка результатов - предварительные драфтовые прогнозы Fantasy Outliers на 2017 год в сравнении с ESPN

Основные результаты (заметьте, без каких-либо ручных настроек):

  1. Наши общие рейтинги для QB и RB были более точными, чем у ESPN, и являются хорошими индикаторами для всех позиций.
  2. Наш рейтинг внутри позиции был лучше для квотербека, и хотя это была статистическая подбрасывание, у нас было несколько действительно хороших находок для других позиций (Марк Ингрэм, Рассел Уилсон, Зак Эрц и т. Д.).

Лакмусовая бумажка: Сравнение наших моделей фэнтези-футбола с фактическими значениями

У нас есть годовые модели для следующих показателей: количество возможностей на игру, количество очков на возможность, количество сыгранных игр и межнедельное отклонение.

Затем мы подсчитали количество очков за игру следующим образом:

Очков за игру = возможностей за игру * очков за возможность

И, наконец, мы использовали это уравнение для расчета общего количества баллов за год:

Общее количество очков = Очки за игру * Количество сыгранных игр

Причина, по которой мы проанализировали наши модели таким образом, заключается в том, что если вы не согласны с прогнозом, вы можете изменить один его компонент, а остальные оставить в силе.

В следующих таблицах сравниваются наши прогнозы по количеству очков за игру (PPR) и количество сыгранных игр с фактическими значениями соответственно. Вы можете видеть, что обе модели оказались лучше, чем вероятность (т. Е. Низкие значения «p»). Математика также говорит, что:

  • На наши Прогнозируемые очки PPR за игру приходится 66% отклонения от Фактического очков PPR за игру (соответствующее число в стандартных лигах составляло 75%)
  • Наши модели Прогнозируемого количества сыгранных игр предсказали 27% отклонения от Фактического количества сыгранных игр.

Другими словами, модели не были полным дерьмом!

Сравнение прогнозов общего количества баллов в Fantasy Outliers с прогнозом ESPN

Хорошо, вы можете сказать, что это интересно, но как ваши прогнозы сравнивались с прогнозами других людей? В этом разделе мы попытаемся ответить на общий вопрос - были ли прогнозы годовых баллов Fantasy Outliers лучше, чем у ESPN?

Мы ограничили данные для сравнения 1–15 неделями 2017 г. (внося соответствующие корректировки в соответствующие наборы данных). Кроме того, мы рассматривали только игроков с опытом работы в НФЛ не менее двух лет. (В прошлом году у наших моделей была известная проблема с новичками и игроками второго года обучения, которые мы исправим в будущем и оценим в следующем межсезонье.)

Чтобы включить достаточно большой размер выборки для математического анализа, мы включили 50 лучших игроков на каждой соответствующей позиции. Игнорировали ничьи и исключили игроков, получивших травмы перед сезоном.

Здесь мы видим процент побед по сравнению с прогнозом общего количества очков ESPN.

  • Столбцы Лучшее ранжирование означают, что итоговый рейтинг Fantasy Outliers был ближе, чем рейтинг ESPN, к фактическому рейтингу, рассчитанному в конце 15-й недели прошлого года.
  • Столбцы Правильно по направлению означают, что годовые прогнозы фантастических выбросов были точными по направлению относительно прогнозов ESPN, но не обязательно ближе. Другими словами, если мы оценили игрока выше, чем ESPN, и в конце сезона этот игрок действительно был выше, чем первоначальный прогноз ESPN, то мы были «точны по направлению».

Процент выигрышей по сравнению с ESPN:

Как видите, большинство наших процентных ставок по сравнению с ESPN выше 50%.

Единственным исключением являются наши абсолютные рейтинги Tight Ends, где процент выигрышей колеблется чуть ниже 50%.

Но это все еще не отвечает на наш вопрос, были ли наши модели лучше, чем у ESPN статистически? Здесь мы использовали бета-распределения, вероятностный метод, обычно используемый в A / B-тестировании, чтобы вычислить вероятность того, что модели ESPN были лучше (Лучшее ранжирование столбцы) или что модели Fantasy Outliers точность направления относительно прогнозов ESPN были хуже случайности (столбцы Верно по направлению). Как видно из следующего графика, большинство вероятностей довольно низки - близки к нулю.

По этому графику математика скажет нам…

Наши годовые прогнозы общего количества очков, вероятно, ближе к фактическим набранным очкам, чем прогнозы ESPN для квотербеков и бегунов.

Кроме того, математика сказала бы:

Наши годовые прогнозы общего количества очков, вероятно, точны относительно прогнозов ESPN для всех позиций и форматов начисления очков, кроме WR в лигах Standard.

Сделав еще один шаг вперед, мы сравнили среднее общее количество набранных очков для 30 лучших игроков в Fantasy Outliers и ESPN с фактическим общим количеством набранных очков. Как видите, в целом наши прогнозы общих сезонных баллов были ближе к фактическим значениям. ESPN кажутся завышенными, может быть, потому, что они не учитывают риск травм?

Увидев приведенный выше график, мы хотели убедиться, что наши прогнозы по-прежнему полезны, если вы удалите наши прогнозы по играм. Для этого мы рассмотрели наши прогнозы на основе ценности, которые сравнивают прогнозируемые очки игрока за игру с их группой позиций и, таким образом, не принимают во внимание риск травм . Мы сравнили полученный общий рейтинг с общим рейтингом ESPN, поскольку он связан с общим количеством набранных очков в конце сезона.

Как видите, наши коэффициенты выигрыша немного снизились, но наши прогнозы, основанные на стоимости, по-прежнему были очень хорошими индикаторами направления (правая часть графика):

И если вам интересно, вот вероятности того, что наши модели хуже, чем ESPN (столбцы Лучшее ранжирование), и вероятность того, что наши модели хуже случайности (Направленно правильно столбцы):

Имейте в виду, что все эти результаты получены без ручной корректировки моделей, что, если сделано стратегически, должно улучшить результаты.

Хорошо, хорошо, я тебя слышу. Вы говорите: «Крис, все это хорошо и хорошо, но это слишком гипотетически, я хочу знать, как вы поступили с людьми, находящимися на вершине драфта».

Различия в позиционном рейтинге Fantasy Outliers по сравнению с рейтингом ESPN и консенсусом экспертов

Здесь мы пытаемся определить , кто меньше (или больше) ошибался в начале сезона. Мы рассмотрели 18 лучших игроков на конец сезона по каждой позиции, исключив тех, кто имел менее двух лет опыта в НФЛ. Затем мы сравнили ежегодный предсезонный рейтинг по позициям от Fantasy Outliers с консенсусным рейтингом ESPN и ECR / Expert соответственно.

На следующих графиках:

  • отрицательные числа (синие) показывают, насколько мы меньше ошибались, чем ESPN (или ECR), тогда как
  • положительные числа (красные) показывают, насколько мы были более неправы, чем ESPN (или ECR).

Мы ограничиваем наше обсуждение здесь лигами со стандартным подсчетом очков. Также помните о небольших размерах выборки.

Наши внутренние позиции для квотербека были очень хорошими, но для других позиций это было не лучшим образом.

Полузащитники:

Как и в случае с нашими еженедельными моделями, мы лучше всего прогнозировали результативность квотербека . У наших моделей были победы Рассела Уилсона, Алекса Смита и Блейка Бортлса; и большое дуновение на Кэма Ньютона. Я включил сюда Рассела Уилсона, потому что он, безусловно, был нашим QB с самым высоким рейтингом в начале сезона, и действительно, он закончил сезон на №1.

Наши нескорректированные прогнозы предсезонной модели были связаны или более точны, чем ESPN для 11 из 14 и ECR 11 из 15 лучших QB в прошлом сезоне с 2+ годами опыта.

Широкоугольный приемник (стандартный):

Нашим большим надзором за широкие приемники был Кинан Аллен с А.Дж. На втором месте Грин и Алшон Джеффри. Тем не менее, наши годовые прогнозы общих баллов имели относительный успех в нижней половине этого графика, особенно для Адама Тилена, Джарвиса Ландри и Нельсона Агхолора.

Бегуны (стандарт):

На бегунов. Наши модели полностью скучали по Тодду Герли. В межсезонье для «Рэмс» произошло так много изменений, особенно с новыми членами принимающего ядра и атакующей линии, что открыло много нового для Герли, и наши модели, к сожалению, не успевали за этим. Тем не менее, наш большой успех по Марку Ингрэму помог многим людям выиграть свои лиги в прошлом году.

Жесткие концы (стандарт):

Мы упустили Роба Гронковски и Вернона Дэвиса, но ударили по Заку Эрцу - отличная находка для позднего раунда!

В целом мы обнаружили, что наши годовые модели показали многообещающие результаты в сезоне НФЛ 2017:

  • Наши прогнозы общего количества баллов и общий рейтинг были лучше, чем у ESPN для QB и RB, и были хорошими индикаторами для всех позиций.
  • Наш рейтинг внутри позиции для квотербека, кажется, лучше, чем у ESPN и ECR, но рейтинг внутри позиции для других позиций (RB, WR, TE) был подброшен вверх.

Хотя мы полностью нюхали некоторых лучших игроков, игроки, с которыми мы столкнулись, помогли людям выиграть свои лиги (Марк Ингрэм, Рассел Уилсон, Зак Эрц и т. Д.).

Кроме того, я должен повторить, что этот анализ не включал никаких человеческих корректировок наших моделей, которые, если проводить их стратегически, вероятно, улучшили бы результаты в той или иной степени. Забегая вперед, мы можем только предложить вам использовать лучший человеческий опыт, а прогнозы фантастических отклонений укажут вам на некоторые потенциальные ценности.

Чтобы оставаться на связи, присоединяйтесь к нам, подписавшись на нас в Twitter (@fantasyoutliers) или подписавшись на нашу еженедельную рассылку новостей. Мы небольшая команда, давайте вместе расти!

Анализ производительности: