A/B тестирует все

Эффективность рекламной кампании

В этом посте мы обсудим A/B-тестирование, сосредоточившись на рекламной компании, которая запускает онлайн-рекламу для клиента с целью повышения узнаваемости бренда. Компания-рекламодатель зарабатывает деньги, взимая плату с клиента на основе взаимодействия пользователей с рекламой, которую она разработала и показывала на разных платформах. Чтобы повысить свою конкурентоспособность на рынке, рекламная компания предоставляет дополнительную услугу, которая количественно определяет повышение узнаваемости бренда благодаря рекламе, которую она показывает онлайн-пользователям. Основная цель этого проекта — проверить, привела ли реклама рекламной компании к значительному повышению узнаваемости бренда.

Краткий обзор

SmartArt – это рекламное агентство, ориентированное на мобильные устройства. Он разрабатывает интуитивно понятную сенсорную рекламу. Он предоставляет брендам автоматизированный рекламный опыт с помощью машинного обучения и творческого мастерства. Их компания основана на принципе добровольного участия, который, как доказано, увеличивает вовлеченность и запоминаемость бренда в 10 раз больше, чем статические альтернативы.

SmartArt предоставляет дополнительную услугу под названием Brand Impact Optimizer (BIO), упрощенную анкету, которая подается с каждой кампанией для определения влияния креатива, рекламы, которую они разрабатывают, на различные показатели верхней воронки, включая запоминаемость и отношение к бренду.

Что такое A/B-тестирование?

A/B-тестирование, также известное как сплит-тестирование, относится к рандомизированному процессу экспериментирования, при котором две или более версии переменной (веб-страницы, элемента страницы и т. д.) одновременно демонстрируются разным сегментам посетителей веб-сайта, чтобы определить, какая из них версия оказывает максимальное влияние и влияет на бизнес-показатели.

По сути, A/B-тестирование устраняет все догадки об оптимизации веб-сайта и позволяет оптимизаторам опыта принимать решения, основанные на данных. В тестировании A/B A относится к контролю или исходной переменной тестирования. Принимая во внимание, что B относится к вариации или новой версии исходной переменной тестирования.

Прежде чем мы приступим к двум типам A/B-тестирования, мы должны ознакомиться с этими терминами: BCR (базовый коэффициент конверсии), MDE (минимальный обнаруживаемый эффект), размер выборки, нулевая гипотеза и альтернативная гипотеза.

Здесь вы можете найти краткое объяснение наиболее распространенных терминов в A/B-тестировании.

I) Классическое A/B-тестирование

Во-первых, мы должны определить базовый коэффициент конверсии и минимальный обнаруживаемый эффект. Затем мы должны рассчитать размер выборки (который будет зависеть от предыдущего BCR и MDE: минимальный ожидаемый прирост конверсии).

Начните привлекать трафик к своим вариантам. Тест может быть завершен только тогда, когда каждый вариант посетило необходимое количество пользователей. Затем оцените результаты своего A/B-теста. Если разница в производительности между вариациями достигала или превышала MDE, можно считать, что гипотеза нашего эксперимента подтвердилась. В противном случае необходимо начать тест с нуля.

II) Последовательное A/B-тестирование

Самая приятная особенность последовательного A/B-тестирования заключается в том, что оно позволяет пользователям быстрее выполнять испытания, снижая при этом вероятность ошибочных результатов. Разве это не звучит фантастически? Давайте посмотрим, как работает эта форма тестирования и что делает такие быстрые выводы возможными.

Выберите размер выборки и случайным образом назначьте тестируемые варианты для обработки и контроля с вероятностью 50% для каждого. Следите за количеством входящих успехов для каждого варианта.

Предположим, что CRT – это коэффициент конверсии лечения, а CRC  – коэффициент конверсии. Допустим, N — размер нашей выборки.

Необходимо завершить тест, когда CRT-CRC достигнет √2N, и объявить вариант лечения победителем вашего A/B-теста.

Закончить тест необходимо, когда CRT+CRC достигнет N. В таком случае объявить, что в эксперименте не было победителя.

Что касается нашего проекта, то одной из задач инженера по машинному обучению в SmartAd является разработка надежного алгоритма проверки гипотез для службы BIO и определение того, привела ли недавняя рекламная кампания к значительному повышению узнаваемости бренда.

Данные

Данные БИО для этого проекта представляют собой ответы онлайн-пользователей «Да» и «Нет» на следующий вопрос.

В: Вы знаете марку Lux?

О да

O No

Это тестовый прогон, и основная цель — проверить алгоритм гипотезы, который мы построили. Пользователи, которым была представлена ​​анкета выше, были выбраны по следующему правилу:

Контроль: пользователи, которым была показана фиктивная реклама.

Открытые: пользователи, которым был показан креатив (реклама), разработанный SmartAd для клиента.

ЭДА

Первое — это первое. Как инженер машинного обучения, вы должны начать свою задачу с ознакомления с предоставленным вам набором данных. Изучайте данные!

вот пример данных

Посмотрите на распределение «да» и «нет» в нашем наборе данных. Мы можем понять, что большинство пользователей даже не ответили.

Хорошо разобравшись с набором данных, мы можем продолжить выполнение нашей задачи. Сначала мы проводим классическое A/B-тестирование, следуя указанным выше шагам.

P-значение

p-значение помогает нам определить, насколько вероятно получение определенного результата, когда предполагается, что нулевая гипотеза верна. если предполагается, что нулевая гипотеза верна, p-значение дает нам оценку того, насколько странной является наша выборка. Если p-значение очень мало (‹0,05), то мы, вероятно, отклоним нулевую гипотезу.

# SE (control) = √((control baseline rate * (1 — control baseline
# rate)) / total control count)
# SE (exposed)= √((exposed baseline rate * (1 — exposed baseline 
# rate)) / total exposed count)
# Z-score = (difference between exposed and control baseline rate) / # √(SE control² + SE exposed²)
# then by using a python library seaborn
p_value= scs.norm().sf(z_score)
# p-value happened to be 0.25917

Но в нашем случае p-значение составляет0,259, что больше 0,05 (уровень значимости). Таким образом, мы не можем отвергнуть нулевую гипотезу

Последовательное A/B-тестирование

Конечный размер выборки, при котором AB-тест завершается в последовательных AB-тестах, определяется данными, наблюдаемыми на протяжении всего теста. Итак, если у нас будут более драматические результаты в начале, мы можем завершить тест раньше. Для этого строится пара статистических границ, например, в зависимости от частоты ошибок типа I, которую мы хотим получить в нашем тесте.

Согласно графику наших данных, мы не можем принять решение на данный момент, нам нужно больше информации.

Недостатком этого подхода является повышенная вычислительная сложность, поскольку само время остановки теперь является случайной величиной и должно учитываться в адекватной статистической модели, чтобы делать правильные выводы. Это также приводит к систематической ошибке и требует использования методов уменьшения/коррекции систематической ошибки, поскольку среднее значение выборки больше не является оценкой максимального правдоподобия.

Вот здесь и пригодится A/B-тестирование с машинным обучением!

Мощный состав машинного обучения может помочь решить эти проблемы за счет автоматизации A/B-тестирования. Хотя автономные тесты можно использовать для демонстрации адекватной производительности модели на исторических данных, эти тесты не могут установить причинно-следственные связи между моделью и результатами пользователя. Когда машинное
обучение внедряется для управления определенным поведением пользователей, например для повышения кликабельности или вовлеченности, нам необходимо проводить онлайн-проверку, также известную как экспериментирование. Алгоритмы машинного обучения также позволяют маркетологам более точно анализировать результаты. Используя машинное обучение, маркетологи могут лучше понять, чего хочет аудитория, на многих ключевых этапах процесса A/B-тестирования.

Чтобы убедиться, что тест направлен на нужных клиентов, машинное обучение сортирует и анализирует каналы, такие как каналы социальных сетей, чтобы помочь пользователю найти ценных клиентов. Это означает, что если маркетолог хочет найти потенциальных клиентов в Twitter, машинное обучение может сделать это быстро и тщательно.

Достижения в области технологий способствовали доступности данных машинного обучения и их использованию в маркетинге. Например, десять лет назад было бы сложнее найти программное обеспечение, которое выполняло бы для вас A/B-тестирование, но системы управления контентом (CMS) часто имеют этот компонент, встроенный в свое программное обеспечение
.

Сегодняшний мир маркетинга более занят и движется быстрее, чем когда-либо прежде. Ваша маркетинговая методология должна быть более эффективной, чтобы не отставать. Благодаря автоматизации некоторых методов, таких как A/B-тестирование, ваш следующий этап тестирования может быть очень простым.