Сейчас в сети: 986
Учитесь работать в Google Analytics вместе с нами!
star_border

Как бороться с ботовым трафиком в Google Analytics?

В данной статье попробую описать подход к выявлению ботового трафика на сайт с помощью Google Analytics и о том, как «почистить» статистику от ботового трафика в представлении.

 

Ботовый трафик Google Analytics?

Поисковые роботы  — их задача вносить в индекс новые страницы, сайты. Вс роботы Google носят общее название Googlebot — основной робот-индексатор  Мы можем управлять разрешением или запретом на индексацию страницы с помощью robots.txt или же непосредственно в админке сайта. Это желательный результат когда Googlebot посещает наш сайт.
Но есть и негативные, нежелательные боты на нашем сайте. Для этого зачастую устанавливается плагин captcha на сайт, чтобы не спамили комментарии и тд. С ними можно бороться с помощью исключения ip адресов и запрета входа роботов можно запретить в файле .htaccess где пописываете запрет входа на сервер для определенных ip.

 

Какой вред наносит ботовый трафик в аналитике?

Высокий процент показателя отказов и соответственно искажение статистики, что в дальнейшем может повлечь за собой неправильные выводы при работе с Google Analytics.

 

Как выявить ботовый трафик?

В аккаунте переходим во вкладку Отчеты – Аудитория  – Технологии – Сеть

ботовый-трафик.jpg

Выбираем диапазон дат за месяц-два. В моей случае выбран  период за 6 месяцев.

Далее кликаем на расширенный фильтр: Добавляем Показатель отказов больше чем 75 и Сеансы больше чем (на Ваше усмотрение).

фильтры-аналитики.pngКликаем на колонку Показатель отказов и смотрим на 100% показатель отказов и время на сайте = 0. Обратите внимание на 100%  показатель отказа  и нулевое время проведенное на сайте, просмотр страниц аналогично отсутствует.

показатель-отказов-768x327.png

Далее Дополнительным параметром выбираем страну и смотрим, что товар который предлагает интернет-магазин в Украине явно не будут заказывать с Японии, Китая и США (через фильтр можно включить только трафик с Украины в отдельном представлении).

Ботовый трафик и виды спама

Распространенные виды:

  • Ghost spam
  • Crawler spam

Далее распишу как работать с этими двумя видами спама.

 

Первый: Ghost spam

Самый распространённый тип спама, характеризуется тем, что при отправке данных в Analytics, нет взаимодействия с сайтом напрямую. Отправка  данных осуществляется через Measurement Protocol.

Происходит генерация случайных кодов отслеживания (tracking ID) и рассылая  ложные данные в отчёты. Серверные решения бесполезны против этого спама. Единственный способ остановить Ghost spam в Google Analytics — фильтры.

 

Второй:  Crawler spam

Происходит, игнорирование robots.txt и посещают сайт. Этого робота можно заблокировать с помощью фильтра в Google Analytics и как я уже писал выше в файле .htaccess на уровне сервера.

 

Фильтр по имени хоста (Ghost spam)

Составляем хосты (предварительный список для фильтрации)

  • В столбце Имя хоста находим и копируем ВСЕ допустимые для нас имена хостов! Перепроверяем добавили ли все нужные для нас хосты, чтобы не потерять часть данных.
  • Далее выбираем Аудитория – Технологии – Сеть – Имя хоста

имя-хоста-768x386.png

  • Переходим во вкладку Отчеты – Технологии – Сеть (выбираем диапазон дат).
  • Создаем выражение которое включает все домены. Используем регулярное выражение: «|» — оператор «или».
  • Перейдите во вкладку Администратор и создаем представление к которому примениять будем фильтр.
  • Далее Администратор — Фильтры Новый фильтр.
  • Заполняем поля и проверяем предварительно фильтр и Сохраняем.

фильтр-отказов.png

Фильтр по источнику кампании (для Crawler spam)

Crawler spam использует правильное имя хоста, поэтому создаем фильтр который исключает. Проделываем схожую работу как было описано выше только, выбираем Исключить – Источник кампании и вводим регулярное выражение.
Пример:
с.новым.годом.рф|www.audxwjmnwo.net|www.goglqfgj.us|и тд.
Или используем способ с блокировкой с помощью файла .htaccess

 

Выводы:

  1. Мы можем исключить ip. Вводим в поисковую строку нужного нам провайдера и смотрим ip адреса которые ему принадлежат.
  2. Можно создать пользовательский фильтр и включить/исключить трафик в зависимости от типа спама. Выбрать ботовые сети и исключить их. К примеру с использованием регулярных выражений (подробнее о регулярных выражениях). В фильтре создаем пользовательский фильтр или встроенный.
  3. Создаем пользовательский фильтр и исключаем трафик по Имени хоста или Интернет-провайдеру и прописываем в шаблон фильтра.
  4. Заходим в Администратор – Настройки представления — Исключение обращений роботов и «пауков»

исключение-ботов-980x372.png

Важно: Создавайте фильтры в новом представлении не трогая основное! Создавайте копию представления и вносите там изменения.

Serhii Khomchenko

Меня зовут Хомченко Сергей. Работаю с платными каналами трафика и инструментами аналитики.

Комментарии
Анастасия Л
марта 2016

Спасибо! 

Михаил Ф
Октябрь

Спасибо Сергей. Очень полезная статья.Внесла мне ясность в ситуацию.

Еще раз спасибо!!! 

Михаил Ф
Октябрь

Сергей здравствуйте. Делаю все как вы пишите. После создания фильтра. Google Analytics выдает, что "Ограничений показателя поиска нельзя применить для этого графика"  http://prntscr.com/h3b4no

Пожалуйста помогите довести дело до конца. Буду ждать Вашего ответа