Почему умные цели Google Analytics не такие уж умные

Цель исследования: проанализировать достижение пользователями цели “Smart goal”. Сопоставить, насколько пользователи, достигшие Smart goal соответствуют аудитории, которая достигает цель “Purchase Completed”. Прокомментировать полученные результаты.

Определение Smart Goals

Давайте определим, что же такое Smart Goals. На сайте поддержки Google Analytics есть статья по умным целям: https://support.google.com/analytics/answer/6153083?hl=en

Умные цели используют машинное обучение для изучения десятков сигналов о сеансах вашего веб-сайта, чтобы определить, какие из них наиболее вероятно приведут к конверсиям. Каждой сессии присваивается оценка, а «лучшие» сессии переводятся в «умные цели». Некоторыми примерами сигналов, включенных в модель Smart Goals, являются длительность сеанса, количество страниц в сеансе, местоположение, устройство и браузер [1].

Однако в сети неоднократно появлялись статьи о том, что умные цели — это не лучший способ оценивать эффективность рекламных кампаний.

Давайте сравним, насколько же верно умные цели определяют сессии, которые должны привести к транзакции.

Для этого используем Demo Account Google Analytics за период с 1.11.2019 по 30.11.2019 и построим 2 сегмента: сессии с транзакциями и сессии с достигнутыми умными целями.

https://analytics.google.com/analytics/web/#/report/visitors-overview/a54516992w87479473p92320289/u.date00=20191101&_u.date01=20191130&.useg=user09ofh1elS0O4psjeaIXN0Q,user8gnQHDHJQJGx7LWT1p0G1Q

В некоторых отчетах вместо сегмента Сеансы с транзакциями использован сегмент Сеансы с покупками — для целей данного отчета эти сегменты можно назвать взаимозаменяемыми.

Мы видим, что количество пользователей с достигнутыми умными целями оказалось в более чем 10 раз больше, чем сессий с транзакциями.

Само по себе это не плохо, но верно ли определены эти сессии? Построим еще один сегмент, где определим пользователей, у которых есть достижение обоих условий — сессии с транзакциями и сессии с достигнутыми умными целями:

Оказывается что всего 8% пользователей с транзакциями были помечены достижением умной цели. Теперь давайте определим, чем же отличаются пользователи этих сегментов

Демографические отчеты

Демографические отчеты доступны только для цели Smart Goal. Для цели Purchase Completed они не доступны.


Новые и вернувшиеся и количество сессий в истории пользователя.

Мы видим, что большинство транзакций совершено пользователями в течение их первой сессии, в то время как умные цели в большей степени присвоены пользователям с двумя и более сессиями.

Длительность сессии и количество страниц за сеанс

Сеансы, отмеченные умными целями имеют длительность сессии и количество просмотренных страниц за сеанс выше, чем сеансы с транзакциями.

При подробном анализе длительности сессий видно, что большинство транзакций совершены в сессиях длительностью 601-1800 и 181-600 секунд. Умные цели в большей степени присваиваются сессиям длительностью 601-1800 и 1801+ секунд.

Качество сессий

Показатель качества сессий хорошо определяет сессии и с транзакциями — около 90% транзакций произошли в сессиях с высоким уровнем качества (51-100).

В то же время большое количество умных целей сработали в сессиях с низким уровнем качества (6-20 и 21-50)

Устройства пользователей

При сравнении сегментов с умными целями и с транзакциями в разрезе устройств пользователей видно большое расхождение.

Лишь 3% умных целей достигнуто в сеансах мобильных устройств. И только 1% — в Iphone.

В то же время в сеансах мобильных устройств совершено 63% транзакций. Практически все они совершены с использованием Iphone.

Ecommerce

При анализе данных электронной коммерции были получены неожиданные выводы.

Данный отчет показал основную причину низкого количества конверсий в сессиях с достигнутыми умными целями. Около 50% из них приходятся на сессий из внутренней сети Google. Сотрудники Google проводили достаточное время на сайте и просматривали большое количество страниц, в том числе корзину и чекаут, таким образом вызывая достижение Умных целей. При этом они не совершали транзакций

Почему умные цели не такие уж умные

Для того, чтобы понять причину расхождений нам нужно глубже разобраться в принципах работы Умных целей. Нам поможет статья в блоге Google Ads, в которой приведена дополнительная информация об их работе.

Для создания умных целей Google применяет алгоритмы machine learning к данным, собранным из тысяч веб-сайтов, которые используют Google Analytics, и решили делиться анонимными данными о конверсиях. Из этих данных получают информацию о десятках ключевых факторов, которые отражают повышенную вероятность конверсии: такие как продолжительность сеанса, количество страниц за сеанс, местоположение, устройство и браузер. Затем эти данные применяются к любому веб-сайту. [3]

Сигналы для умных целей выбираются не на данных пользователей одного рассматриваемого сайта, а на данных пользователей других сайтов, которые согласились отправлять данные в Google.

Как видим причина не в том, что механизмы machine learning работают не правильно, а в том, что они строятся на данных чужих пользователей, которые могут быть не похожи на пользователей нашего сайта. Перед использованием умных целей в качестве ориентира для выводов следует провести оценку того, насколько близко они совпадают с целевыми действиями на сайте.

Список использованных источников:

  1. Analytics help center: https://support.google.com/analytics/answer/6153083?hl=en
  2. Демо-аккаунт Google Analytics с настроенными сегментами: https://analytics.google.com/analytics/web/#/report/visitors-overview/a54516992w87479473p92320289/_u.date00=20191101&_u.date01=20191130&_.useg=user09ofh1elS0O4psjeaIXN0Q,user8gnQHDHJQJGx7LWT1p0G1Q
  3. Google’s official blog for news, tips and information on AdWords: https://adwords.googleblog.com/2015/12/use-smart-goals-powered-by-google.html