WedX - журнал о программировании и компьютерных науках

Google Web Optimizer Сколько осталось до выигрышной комбинации?

Я провожу A/B-тестирование в Google Web Optimizer уже шесть недель, и конца этому не видно. Google по-прежнему говорит: «Мы еще не собрали достаточно данных, чтобы показать какие-либо существенные результаты. Когда мы соберем больше данных, мы сможем показать вам выигрышную комбинацию».

Есть ли способ определить, насколько Google близок к принятию решения? (Кто-нибудь знает, какой алгоритм он использует, чтобы решить, были ли какие-либо «победители с высокой достоверностью»?)

Согласно справочной документации Google:

Иногда нам просто нужно больше данных, чтобы достичь уровня высокой достоверности. Для проверенной комбинации обычно требуется около 200 конверсий, чтобы мы могли с уверенностью судить о ее эффективности.

Но у всех наших конверсий на данный момент более 200 разговоров:

230/4061 (Исходный)
223/3937 (Вариант 1)
205/3984 (Вариант 2)
205/4007 (Вариант 3)

Сколько еще бегать??

Спасибо за любую помощь.

web ab-testing web-optimization google-website-optimizer
11.06.2010

  • Боюсь, у меня нет ответа на ваш вопрос, однако вопрос к вам, если вы согласны?!!! Как вы нашли isomg GWO, вы бы порекомендовали его? (т.е. легко развернуть? какие-то проблемы с производительностью?) извините, что прерываю ваш вопрос! 11.06.2010
  • да. Все идет нормально. Он чрезвычайно прост в использовании и чрезвычайно мощен. A/B-тестирование — это не столько «если», сколько «когда», и GWO кажется хорошей системой — если бы я только знал, когда закончится эксперимент! :) 11.06.2010
  • Я использую этот калькулятор, чтобы найти количество данных, которые мне понадобятся для получения значимости (хотя для расстояния он использует 90% вместо 95%) usereffect.com/split-test-calculator Так, например, в сравнении с вариантом 2 вам потребуется еще 12 000 результатов, чтобы получить окончательный ответ. 17.07.2010

Ответы:


1

Есть ли способ определить, насколько Google близок к принятию решения?

Вы можете использовать калькулятор GWO, чтобы определить, сколько времени займет тест, исходя из ряда предоставленных вами предположений. Имейте в виду, однако, что возможно, что между вашей тестовой комбинацией нет существенной разницы, и в этом случае проверка, чтобы определить, какая из них лучше, займет бесконечное количество времени, потому что невозможно найти победителя.

(Кто-нибудь знает, какой алгоритм он использует, чтобы решить, были ли какие-либо «победители с высокой достоверностью»?)

Это загадка, но в большинстве, если не во всех, статистических тестах существует так называемое p-значение, которое представляет собой вероятность получения столь же экстремального результата, как тот, который наблюдался случайно. Тесты GWO выполняются до тех пор, пока значение p не превысит некоторый порог, возможно, 5%. Чтобы быть более ясным, тесты GWO выполняются до тех пор, пока комбинация не станет значительно лучше, чем исходная комбинация, так что вероятность того, что результат возникнет случайно, составляет всего 5%.

В вашем тесте нет значительного победителя, это ничья.

13.06.2010
  • Я не могу поверить, что это будет продолжаться вечно :( Спасибо за информацию, Эрик! 14.06.2010
  • Интересно отметить, что на этой странице говорится о неубедительных результатах, возможно, предполагающих, что тесты МОГУТ закончиться без явного победителя? Как вы думаете? google.com /support/websiteoptimizer/bin/ 14.06.2010
  • возможно, предполагая, что тесты МОГУТ закончиться без явного победителя? нет, это говорит о том же, что и я, а именно о том, что испытание может продолжаться вечно, пока вы что-нибудь с этим не сделаете. 14.06.2010
  • По моему опыту, вы правы, 5% — это когда они готовы объявить победителя. 17.07.2010
    • Новые материалы
    Объяснение документов 02: BERT
    BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..
    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..
    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..
    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..
    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..
    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..
    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..
    Для любых предложений по сайту: [email protected]