Оценка использования составных моделей «потолок-пол» для прогнозирования вероятного диапазона будущей производительности труда работников.

Эта статья является третьей в серии из трех частей Расширенное моделирование будущих диапазонов производительности работников с помощью ИНС с пользовательскими функциями потерь. Часть 1 исследовала, почему полезно прогнозировать возможный потолок и минимум будущей производительности сотрудника — и почему это трудно сделать эффективно, используя обычные методы, основанные на средней абсолютной ошибке или стандартном отклонении. Часть 2 исследовала, как можно смоделировать вероятные потолок и пол, используя отдельные искусственные нейронные сети с пользовательскими функциями потерь. А в части 3 эти потолочные и минимальные модели объединяются для создания составного интервала прогнозирования, который может превзойти более простые модели, основанные на MAE или SD, при прогнозировании вероятного диапазона будущей производительности труда работников.

Построение совместных моделей ареала

В наших усилиях по разработке более эффективных средств для прогнозирования диапазона, в который, вероятно, попадет будущая производительность работника, мы увидели, как одна искусственная нейронная сеть с настраиваемой функцией потерь может научиться прогнозировать потолок диапазона более успешно, чем обычные методы на основе MAE или SD, в то время как другая ИНС с другой пользовательской функцией потерь учится лучше предсказывать свой нижний предел. Но наша конечная цель – не просто предсказать пол или потолок; это прогнозирование диапазона вероятной будущей производительности работника, который представляет собой единый интервал прогнозирования, ограниченный нижним и потолком.

С этой целью в этой заключительной части нашей серии мы объединим определенные модели потолка, которые мы разработали в Часть 2, с конкретными моделями пола, чтобы создать то, что мы можем назвать совместным ассортиментом. модели». Для каждого прогнозируемого целевого значения (т. е. наилучшей оценки базовой целевой модели средней эффективности, которую данный работник продемонстрирует в течение следующих 30 дней), объединенная модель диапазона будет генерировать интервал прогнозирования, который определяется ее прогнозируемым потолком и прогнозируемым минимумом и который включает прогнозируемое целевое значение где-то внутри него. Важно отметить, что в то время как более простые модели на основе MAE или SD будут генерировать интервалы прогнозирования, в которых прогнозируемое целевое значение находится точно посередине между потолком и полом (за исключением случаев, когда нижний предел искусственно не был меньше нуля) , более продвинутые модели потолка и пола на основе ИНС, которые мы разработали в Часть 2, способны давать более тонкие интервалы прогнозирования. Если бы мы объединили наиболее эффективную потолочную модель на основе ИНС с наиболее эффективной моделью пола на основе ИНС, они могли бы (гипотетически) сказать нам, что у данного работника ожидается 30-дневная средняя эффективность около 97,0, при этом значение вряд ли превысит 99,0 или упадет ниже 91,0. По своей природе более простая модель на основе MAE или SD вынуждена предлагать диапазон, который симметрично простирается выше и ниже прогнозируемого целевого значения (например, заявляя, что фактическое целевое значение вряд ли превысит 99,0 или упадет ниже 95,0), что часто слишком негибок, чтобы правильно моделировать поведенческую динамику, реально существующую на рабочем месте.

Чтобы завершить наш анализ, мы построили 35 совместных моделей диапазона в Comport_AI, используя следующую методологию:

  • Модель потолка на основе MAE была объединена с моделью пола на основе MAE для создания единой модели стыкового диапазона на основе MAE.
  • Каждая из моделей потолка на основе SD была объединена с соответствующей моделью пола на основе SD, в которой используется множитель SD с тем же абсолютным значением. Например, модель потолка, в которой значения потолка рассчитываются как прогнозируемые целевые значения + 0,8 × SD, сочетается с моделью нижнего предела, которая прогнозирует минимальные значения как прогнозируемые целевые значения — 0,8 × SD, чтобы создать совместную модель диапазона, для которой рассчитывается интервал прогнозирования. как прогнозируемое целевое значение ± 0,8 × SD. Таким образом были сгенерированы девять совместных моделей ареала.
  • Из моделей потолка на основе ANN, в которых использовались различные пользовательские функции потерь, были выбраны пять наиболее эффективных (т. е. моделей с самым низким OCE). Аналогичным образом были выбраны пять наиболее эффективных моделей пола на основе ИНС. Затем они были соединены друг с другом во всех возможных комбинациях, чтобы получить 25 моделей совместной линейки.

Метрики для совместных моделей диапазонов

Как мы должны оценивать и сравнивать эти модели совместного ареала? Чтобы оценить полезность различных подходов к построению таких интервалов прогнозирования, недостаточно измерить эффективность потолочных и напольных моделей изолированно друг от друга. До этого момента при оценке производительности различных моделей потолка мы полагались на показатель общей ошибки потолка (OCE), который представлял собой сумму AMORPDAC и AMIRPDBC модели: чем ниже показатель OCE, тем лучше модель потолка. Точно так же среди напольных моделей наиболее успешными считались модели с более низкой общей ошибкой этажа (OFE).

Однако такие показатели, как OCE и OFE, были лишь временными инструментами: они давали нам предварительное представление о том, какие типы потолочных и напольных моделей наиболее эффективны, но окончательная оценка прогнозируемого диапазона производительности может быть сделана только тогда, когда мы посмотрим на характеристики модели. интервал предсказания в целом. И когда мы рассматриваем интервал прогнозирования как единую сущность, некоторые метрики, применяемые к моделям потолка и пола, больше не применимы — так же, как становится возможным (и желательно) сформулировать новые виды метрик, которые нельзя применять изолированно. к потолочным или напольным моделям. Comport_AI реализует ряд таких метрик:

  • Средний пропорциональный размер диапазона (MPRS) – это расстояние между прогнозируемым предельным и минимальным значениями работника, пропорциональное прогнозируемому целевому значению работника, усредненное по всем случаям. Идеально функционирующая модель совместного диапазона должна иметь MPRS, равную 0,0 (т. е. прогнозируемые верхние и нижние значения будут такими же, как и прогнозируемое целевое значение).
  • Inverted Range Partion (IRP) – это доля случаев, для которых прогнозируемое максимальное значение работника меньше, чем его или ее прогнозируемое минимальное значение. Идеально функционирующая модель совместного диапазона должна иметь IRP 0,0.
  • Доля фактических целевых значений вне допустимого диапазона (PATOR) – это доля случаев, в которых фактическое целевое значение было либо больше прогнозируемого потолка, либо меньше прогнозируемого минимума. Идеально функционирующая модель совместного диапазона должна иметь PATOR 0,0.
  • Среднее суммарное абсолютное расстояние до границ диапазона (MSADRE) — это сумма абсолютного расстояния фактического целевого значения от его прогнозируемого максимального значения и его абсолютного расстояния от прогнозируемого минимального значения, усредненная по всем случаям.
  • Общая эффективность диапазона (ОВП) – это сложный показатель, равный (1 — PATOR)² ÷ √(MSADRE). Это более значительно наказывает модели, у которых большая доля фактических целевых значений выходит за пределы их прогнозируемого диапазона, в то время как относительно слабо наказывает модели, которые дают более широкие прогнозируемые диапазоны. В отличие от случаев OCE и OFE (ошибки которых нужно минимизировать), наша цель при моделировании диапазонов производительности — максимизировать значение ОВП.

Сравнение моделей

Имея такие метрики, мы теперь готовы изучить модели совместного диапазона, созданные в Comport_AI. Во-первых, мы можем рассмотреть простую модель совместного диапазона на основе MAE:

Эта модель работает плохо (ОВП = 0,69493) из-за ее универсального подхода: она не может распознать различную динамику, демонстрируемую разными работниками, что не позволяет ей генерировать более узкий интервал прогнозирования для работников, чья оценки эффективности очень стабильны и имеют более широкие интервалы прогнозирования для тех, у кого оценки сильно колеблются.

Далее мы можем рассмотреть два примера моделей на основе стандартного отклонения (± 0,8 × стандартное отклонение и ± 1,0 × стандартное отклонение):

Они имеют характерную форму воронки, и единственная разница между моделями заключается в амплитуде воронки. Выбрав меньший множитель SD, можно создать более узкие (и потенциально более полезные с точки зрения управления) интервалы прогнозирования для всех работников, но за счет увеличения доли фактических целевых значений, которые превысят их прогнозируемый потолок или упадут ниже их прогнозируемого минимума. ОВП этих моделей составляет 1,16725 и 1,10903 соответственно.

Теперь мы можем взглянуть на выборку совместных моделей диапазона, созданных на основе моделей потолка и пола на основе ИНС с использованием пользовательских функций потерь. Во-первых, это модель, потолок которой использует функцию потерь:

from keras import backend as K
loss = K.mean(math_ops.squared_difference(y_pred, y_true), axis=-1) \
    + 0.7 * K.mean(y_true - y_pred)

И чей пол использует функцию потерь:

loss = K.mean(math_ops.squared_difference(y_pred, y_true), axis=-1) \
    - 1.1 * K.mean(y_true - y_pred)

Мы видим, что этой модели удается генерировать интервалы прогнозирования, которые содержат фактические целевые значения в подавляющем большинстве случаев, но только за счет установки потолочных значений, которые обычно довольно высоки, и минимальных значений, которые обычно довольно низки. Размеры интервалов прогнозирования относительно одинаковы для всех рабочих процессов. Эта модель имеет ОВП 1,06253, что лучше, чем у модели на основе MAE, но уступает обеим моделям на основе SD.

Далее мы можем взглянуть на модель совместного диапазона, потолок которой использует функцию потерь:

loss = K.mean(math_ops.squared_difference(y_pred, y_true), axis=-1) \
    + 0.55 * K.mean(y_true - y_pred)

И чей пол использует функцию потерь:

loss = K.mean(math_ops.squared_difference(y_pred, y_true), axis=-1) \
    - 0.85 * K.mean(y_true - y_pred)

Мы видим, что эта модель демонстрирует большую гибкость и разнообразие между работниками при прогнозировании их минимальной производительности, чем при прогнозировании их потолка производительности. Его ОВП 1,13988 достаточно, чтобы превзойти модель на основе MAE и модель, основанную на ± 0,8 × SD, но он не соответствует эффективности модели, основанной на ± 1,0 × SD.

Наконец, мы можем посмотреть на модель, потолок которой использует функцию потерь:

loss_pred_safely_high = K.square(y_pred - y_true)
loss_pred_too_low = 200.0 * K.square(y_pred - y_true)
loss = K.switch(
    K.greater_equal(y_pred, y_true),
    loss_pred_safely_high,
    loss_pred_too_low
    )

И чей пол использует функцию потерь:

loss = K.mean(math_ops.squared_difference(y_pred, y_true), axis=-1) \
    - 0.5 * K.mean(y_true - y_pred)

ОВП этой модели, равный 1,27719, является лучшим из всех 35 моделей совместного диапазона, проверенных на данном наборе данных. Модель поддерживает относительно узкие интервалы прогнозирования для большинства работников, расширяя их только настолько, насколько это необходимо для учета случаев работников, средние показатели эффективности которых за 30 дней трудно предсказать с большой точностью.

В более широком смысле, все 14 наиболее эффективных моделей совместного диапазона были основаны на ИНС с пользовательскими функциями потерь; самой эффективной «традиционной» моделью (на 15-м месте) была модель, основанная на ± 0,8 × SD, показанная выше. Модель на основе MAE оказалась самой неэффективной из 35 моделей совместного диапазона.

Завершение серии

Конечно, в этой серии статей в качестве примера мы рассмотрели только одно конкретное задание по прогнозированию в прогнозной аналитике HR. Несомненно, существует множество видов заданий, связанных с прогнозированием будущей производительности труда работников, для которых более простые интервалы прогнозирования на основе MAE или SD дадут превосходные результаты (и с гораздо меньшими требованиями к вычислительным ресурсам). Однако наш анализ показал, что есть по крайней мере некоторые ситуации, в которых отдельное моделирование потолков и полов с помощью ИНС с пользовательскими функциями потерь — хотя и несколько более сложное — обладает потенциалом для создания более точных, детальных и полезных результатов. прогнозы, когда дело доходит до прогнозирования вероятного диапазона будущей производительности работника. С помощью таких подходов может быть целесообразно предоставить менеджерам интервалы прогнозирования, которые будут как можно более узкими (и, следовательно, значимыми), но при этом достаточно широкими, чтобы включать все потенциальные результаты, которые можно было бы разумно ожидать от работника.

Изучив полезность таких независимо смоделированных интервалов прогнозирования, будет легче распознать конкретные сценарии, в которых такие виды машинного обучения могут быть уместны в повседневной работе в прогнозной аналитике HR. Спасибо за участие в этой серии!