Давайте представим, что мы внедрили новую функцию, и нашей основной метрикой было время, проведенное на сайте, и оно подходит для тестирования по сравнению с контролем.

Мы довольны и внедряем эту функцию для всех пользователей, но через несколько недель мы обнаруживаем резкое снижение затрачиваемого времени. Мы чешем затылки и отчаянно пытаемся понять, что пошло не так в нашем эксперименте.

Это может быть вызвано многими факторами, один из которых называется «эффектом новизны».

Эффект новизны — это идея о том, что люди, которые используют ваш продукт, взаимодействуют с функцией не потому, что она очень полезна для них, а потому, что она новая и блестящая. Со временем интерес исчезает, потому что изменение уже не ново.

Стоит отметить, что бывает и наоборот. То есть, если вы даете пользователям новый опыт, они сначала могут его ненавидеть, потому что это не то, к чему они привыкли. Это называется отвращением к переменам.

Мы обсудим две темы: как обнаружить такое поведение и как с ним бороться.

Как обнаружить:

Ведь для новых пользователей все новое. Таким образом, эта конкретная функция не может иметь эффекта новизны сама по себе. Таким образом, наиболее часто используемый способ (и на практике единственный способ) проверки эффекта новизны — это сегментация пользователей на новых и вернувшихся. Если функция выигрывает у вернувшихся пользователей, но не у новых пользователей, это явный признак того, что эффект новизны действует.

Сегментация пользователей по новым и вернувшимся всегда является ценным упражнением при проведении A/B-тестирования. Это дает вам важную информацию о вашем тесте. Здоровый A/B-тест должен хорошо работать с новыми пользователями. В противном случае есть риск, что вы продолжите оптимизацию для своих старых пользователей и застрянете в локальном оптимуме, не имея возможности использовать возможности за пределами вашей основной пользовательской базы.

Как преодолеть

Есть два основных подхода к решению

  1. Один из самых простых способов преодоления эффекта новизны — попытаться убрать новизну, запустив тест дольше. По сути, вы запускаете свой тест AB и должны убедиться, что он остается активным достаточно долго, чтобы постоянные клиенты больше не удивлялись новой функции.
  2. Анализировать только новых пользователей — еще один вариант. Как упоминалось ранее, для новых пользователей все новое, поэтому мы можем сравнивать экспериментальную и контрольную группу, не беспокоясь об эффекте новизны. Основным недостатком этого метода является то, что мы теряем много информации (все о наших вернувшихся пользователях). Чтобы исправить это, мы можем попробовать применить взвешивание для разных пользователей. Например, новые пользователи получают вес 1, а вернувшиеся пользователи получают вес от 0 до 1 в зависимости от продолжительности их использования нашего продукта.

Эффект новизны — распространенная проблема, которая может возникнуть при проведении A/B-тестирования. Это обычное явление, происходящее чаще, чем мы думаем.

Поняв, как его обнаружить и преодолеть, вы можете быть уверены, что результаты вашего A/B-теста будут точными и надежными, и вы сможете принимать обоснованные решения.

A/B-тестирование — это круто, так что не бойтесь ошибаться! Только не забудьте их тоже исправить — никто не хочет зацикливаться на эффекте новизны :)