Сейчас в сети: 876
Если вы так и не нашли, куда задать ваш вопрос, оставьте его здесь!
Подсказки
star_border
Ответить

Обсуждаем новый алгоритм проведения экспериментов Google Analytics

Бакалавр ✭ ✭ ✭

Как всем известно, Website Optimizer канул в лету, и на смену ему пришли эксперименты Google Analytics. Мы сразу же начали их использовать и наткнулись на один малоприятный факт. В экспериментах используются новые алгоритмы распределения трафика. Вариант с лучшими показателями получает больше трафика, используется сложная математическая модель, которая позволяет получить результат эксперимента раньше, чем это было при равномерном распределении трафика по обоим вариантам. Это в теории. А вот что вышло на практике.

 

Ситуация следующая:

Сделана тестовая страница продукта. Задан эксперимент: новый дизайн vs старый. Первые несколько часов трафик шел примерно равномерно на обе страницы (примерно по 70 кликов). За это время оказалось, что на новой странице в 8 раз реже кликают на отслеживаемые кнопки, хотя ожидалось обратное. Почему так вышло – непонятно, вне эксперимента на такой же новой странице к-т конверсии был выше. После этого более 99% трафика стало поступать на старый вариант страницы, при этом эксперимент не остановился. Он идет уже неделю, и на новый дизайн поступает пара кликов в день, на старый 600-1000. В старом варианте набрано более 300 конверсий, в новом – одна. А теперь эти данные надо представить заказчику. Он попросит провести эксперимент с равномерной загрузкой страниц.  Он не будет вдаваться в байесовы решения, чтобы понять что, возможно, эта 1 конверсия против 300 реально отражает то, что новая страница в 8 раз хуже старой. А тем более, что это не так. По таким же страницам, которые не участвуют в эксперименте, мы видим, что на новом дизайне действительно немного меньше кликают на кнопки купить, однако больше покупают. Работа над страницей продолжается, чтобы подтянуть нажатия на кнопки. Но тут речь о разнице в 10-20%, а если бы заказчик просто посмотрел на данные эксперимента, новый дизайн был бы выкинут далеко и надолго, что привело бы к недополучению прибыли.

 

Так какой тогда вообще смысл в таком эксперименте?

 

Параллельно завершился эксперимент для другого клиента. Он шел 10 дней, и с первого дня к-т конверсии на новом дизайне в 2,5 раза выше, чем на старом. При этом, там трафик все время делился абсолютно поровну, а по логике нового алгоритма – тоже должен был делиться пропорционально к-ту конверсии.

 

В связи со всем вышесказанным возникает вопрос о пригодности нового алгоритма. Я допускаю, что в целом, он работает лучше старого, и за меньшее время должен давать результат, но пока он, очевидно, недоработан, и гугл просто обязан был оставить возможность использования старого алгоритма. Если я хочу направить по 10000 кликов на каждый вариант, и сравнить эффективность – почему нет, если я не ограничен бюджетом и готов потратить на это деньги.

 

Вот еще пример для размышлений:

Имеем продукт с отложенным спросом. Обычно посетителю нужны 2 недели на принятие решения о покупке. Мы делаем страницу с предложением: купите прямо сейчас и получите скидку 20%. Запускаем эксперимент. В первый день количество покупок на новом варианте значительно выше. После этого алгоритм перестает посылать трафик на старый вариант. Но ведь для того, чтобы сравнить эффективность,  нам нужно как минимум 2 недели, а лучше месяц. Если этот продукт премиальный, возможно скидка отпугнет тех, кто не хочет никаких скидок, он хочет купить уникальный и дорогой продукт, а возможно и нет, и пока мы не попробуем – никогда не узнаем истину. И как нам быть? Остается использовать другие сервисы для проведения эксперимента или устраивать танцы с бубном над отчетами.

 

 

Предлагаю тем, кому небезразличен этот продукт, оставить свои комментарии. Возможно, это даст толчок к тому, чтобы набралась критическая масса недовольных, и Google не вводил/менял подобные инструменты на безальтернативной основе, как это уже бывало, а вводил их как опцию, с возможностью использования старых инструментов.

 

 

Говорят, что это новый крутой алгоритм, который сразу опр...

Бакалавр ✭

Говорят, что это новый крутой алгоритм, который сразу определяет какая страница лучше и пускает туда трафик! Правда не понятно, зачем, если ему уже и так ясно!? Тоесть вбиваешь урлы страниц, и он через пару часов говорит какая страница лучше! Долой долгие эксперименты и деление трафика поровну! Гуглу виднее чем посетителям! 

P.S. Есть подозрение, что это вы разработали алгоритм подсчёта голосов для белоруского прэзидэнта!