Что означает появление not set и not provided в отчетах google analytics

(not set) и (not provided) в отчетах Google Analytics

На сегодняшний день компания Google шифрует данные поисковых запросов пользователей исходя из соображений защиты персональных данных. Это приводит к появлению в отчетах Google Analytics соответствующих записей — (not set) и (not provided). Это сильно затрудняет работу с предоставляемой информацией, ведь зачастую зашифрован оказывается абсолютно весь трафик.

Появление (not set) пометки в отчетах означает, что данные по определенному показателю отсутствуют и на это не всегда есть возможность повлиять, причиной этого могут быть:

• установленные рекламные блокировщики;
• отключение работы javascript в браузере;
• удаление файлов cookie (куки);
• GA не удалось определить местоположение или IP.

Но бывают случаи возникновения такой ошибки по вине вебмастера. К примеру, если вы используете AdWords, такая проблема может возникать вследствие неверно настроенных UTM-меток.

Возникновения (not set) в отчете по источникам трафика не придется долго ждать, если в метках появляются синтаксические ошибки (например, отсутствие амперсанда). Бывают и другие ситуации:

• Интеграция аккаунтов Analytics и AdWords настроена неправильно. Для проверки в аналитике зайдите в меню «Администратор» — «Связь с Google Рекламой» — «Связанные аккаунты»:

Если связанных аккаунтов нет, то необходимо осуществить привязку.

• Отключена авторазметка. При правильной работе, когда происходит переход по рекламе, к URL добавляется параметр GCLID, который сохраняется в системе аналитики, и мы можем видеть данные по кампаниям. Можно размечать ссылки двумя путями — автоматически и вручную. Для проверки зайдите в «Администратор»-«Настройки ресурса»:

• При включенной авторазметке также используется ручная.
• Недействительные клики. В это понятие входят переходы роботов, работа мошеннических программ, двойные клики и так далее. В справке Google подробно описаны методы борьбы с ними.

Также в (not set) может записываться реферальный трафик — по ссылкам с других сайтов, трафик с продуктов Google (Почта, Карты, Картинки и т.д.) и прямой трафик.

В отчетах по рекламе Google (not set) появляется в следующих случаях:

• настроен какой-либо редирект с целевой страницы;
• параметр GCLID удаляется при переадресации до того, как браузер успевает выполнять код аналитики;
• неправильно выполнена ручная пометка.

Также (not set) может регистрироваться в отчете по поведению пользователей в том случае, если в рамках сеанса пользователь не совершил ни одного просмотра страницы.

Если в указанном выше (not set) речь шла скорее о некорректных настройках, то (not provided) это именно зашифрованные данные, так или иначе имеющие отношение к конфиденциальности пользователей.

Больше всего боли для оптимизатора эта пометка доставляет в отчетах по источникам трафика, когда мы хотим оценить эффективность продвижения и оценить трафик.

Из-за этого становится сложнее узнать эффективность seo-работ среди всего перечня проводимых мероприятий. Ведь в (not provided) находится также брендовый трафик, причиной роста которого могут быть другие действия, не связанные с SEO.

Мы не можем уменьшить долю зашифрованного трафика в отчетах, поэтому все, чем мы можем помочь себе — это на основе доступных данных рассчитать брендовый трафик, и на его основе спроецировать это на все данные.

Повышение Not Provided в Google Analytics: что изменится в SEO?

Количество отметок «not provided» в Google Analytics продолжает расти и уже этой осенью может достигнуть 100%. Возникает резонный вопрос, как теперь оценивать трафиковые проекты в SEO и как анализировать поисковый трафик с Google?

Что такое not provided?

Что же скрывает под собой запросы в категории «not provided» в Google Analytics? Это переходы из органического поиска пользователей, защищенных протоколом SSL (https). Google зашифровывает данные пользователей, которые:

• Авторизовались в любом аккаунте Google (Gmail, Google+, AdWords, Analytics, YouTube, Drive);
• Используют Firefox 14 и выше версии, т.к. поиск Google там происходит через протокол https;
• Включили опцию безопасного поиска в настройках аккаунта.

Динамика безопасного поиска

По подсчетам специалистов уже в ноябре 2013 количество запросов в категории «not provided» достигнет 100%. По официальной версии это связано с усилением безопасности пользователей поиска и пресечением шпионской деятельности Агентства национальной безопасности США (NSA). Вот как представители Google обосновали свои действия:

«Мы хотим обеспечить защиту при помощи протокола SSL-шифрования такого количества пользователей в различных регионах, которое мы только сможем охватить. В настоящее время мы ввели передачу данных по https-протоколу даже для неавторизованных пользователей. Мы планируем и далее увеличивать число зашифрованных пользовательских запросов, считая эту возможность полезной».

Но уже сейчас по многим нашим проектам безопасный поиск скрывает до 70-80% поискового трафика с Google, лишая возможности определить, по каким в точности ключевым словам были переходы на сайт.

На примере видно, что в сентябре этого года 80% трафика с Google — это переходы в категории «not provided». Хотя еще весной количество скрытых переходов не превышало 30-40 %:

Нужно отметить, что и в самой системе Google Analytics произошли изменения. Больше мы не найдем привычной вкладки «Источники трафика», она была переименована в «Конверсии», в которой теперь можно проследить распределение трафика по каналам.

Какую же опасность таит 100% not provided?

Первое, с чем придется столкнуться, — это неполная аналитика. Оптимизаторы и владельцы сайтов не смогут отследить, по каким запросам происходят переходы с Google. Но такая ли уж это большая проблема?! По факту мы лишаемся лишь части данных, и нам по-прежнему доступна полная статистика по остальным источникам трафика в Google Analytics. К тому же существуют другие поисковые системы, например, Яндекс, Mail или Rambler, для анализа веб-трафика. В любом случае рекомендации по улучшению конверсии будут одинаково хорошо работать как в Яндексе, так и в Google. Сложности возникнут в основном у новых сайтов, которые вообще не имеют никакой статистики по Google. Они не смогут определить, по каким запросам в Google идут переходы на их сайт, и какой там процент брендированного трафика.

Вторая проблема – удорожание трафика с Google, связанное с невозможностью отделить запросы по стоп-словам. До недавнего времени клиент оплачивал только ту часть органического трафика, которую привела SEO-компания, без учета трафика по брендовым запросам и той части естественного трафика, который был до начала продвижения. Сейчас же, когда все запросы скрыты, мы не можем вычленить брендированные запросы. Таким образом, чек клиента увеличится на стоимость трафика по стоп-словам.

Посчитав такую схему несправедливой, мы решили попытаться определить процент брендированного трафика в категории «not provided».

Сравнение брендированных запросов в Яндексе и Google
Мы предположили, что если процент брендированного трафика в Google и Яндексе совпадает, то доступные нам данные из Яндекса можно экстраполировать на Google.

Для подтверждения нашего предположения, мы провели эксперимент, в ходе которого сравнили процент брендированного трафика из Яндекса и Google за март 2013 года (когда Google еще не скрывал эти данные). В эксперименте участвовало несколько десятков сайтов разной тематики.

Как видно из таблицы выше (выборка по 10 проектам), практически по всем проектам процент брендированного трафика в Google и Яндексе сильно отличается. На основании этого мы сделали вывод, что перенести данные с Яндекса на Google невозможно.

Как теперь платить за трафик в SEO

На наш взгляд, наиболее правильный вариант — считать брендированный трафик для Google в известной для каждого сайта пропорции (выведенной, когда статистика была еще открыта). Ведь процент брендированного трафика для каждого сайта в общей сложности стабилен, и это хорошо видно на синем графике. Красный график демонстрирует сокращение трафика по стоп-словам (начиная с июля 2013 года), связанное с увеличением числа скрытых запросов.

Взяв среднеарифметический процент брендированного трафика за год, можно определить объем стоп-слов в органическом трафике для каждого сайта.

В заключение

Итак, даже если все запросы в Google окажутся скрыты, это приведет лишь к незначительным изменениям в схеме оплаты по трафиковым проектам и частичной потере аналитики по органическому трафику из Google, что не особо критично, так как для анализа нам доступны и другие поисковые системы. К тому же самой популярной поисковой системой остается Яндекс, который занимает около 54 % рынка пользователей.

Внимание(!): Статья не претендует на достоверность и полноту всех данных.

Что такое not set и not provided в отчетах Google Analytics. Роман Рыбальченко| WebPromoExperts.TV #10

В 10-м выпуске «Фишек интернет-маркетолога» на WebPromoExperts.TV, Роман Рыбальченко — основатель проекта Roma.net.ua, рассказал о том, что значит «not set» и «not provided» в отчетах Google Analytics.

Мнение редакции может не совпадать с мнением автора. Если у вас есть, что дополнить — будем рады вашим комментариям. Если вы хотите написать статью с вашей точкой зрения — прочитайте правила публикации на блоге WebPromoExperts.

Какие ошибки возникают при работе с Google Analytics и как с ними бороться

Продуманный интернет-маркетинг невозможен без аналитики. Но что делать, если статистика отображается неправильно?

В этой статье мы рассмотрим технические сложности, которые возникают при работе с Google Analytics: от ограничений интерфейса до ошибок настройки отслеживания и последующей недостоверности полученных данных. Ну, и научимся их исправлять.

Некорректное отображение параметров в отчетах

Реферальный трафик из неподходящих источников

Иногда в отчетах Google Analytics можно встретить реферальный трафик из неожиданных или нежелаемых источников. Например:

: если у вас есть разные поддомены и между ними возможен переход, то в статистике это будет отображаться так: sub.domain.com / referral;

: если оплата заказов на вашем сайте происходит через сторонние системы (например, Liqpay), в отчетах вы будете видеть трафик и конверсии, относящиеся к … / referral;

: если на вашем сайте предусмотрена авторизации пользователя через аккаунт Google, то после логина происходит перезапись сеанса и источник / канал отображаются как accounts.google.com / referral.

Такие источники могут присваивать себе весомый объем конверсий. В результате настоящие каналы, которые привели этот трафик, будут оцениваться по ложным данным.

Решить подобную проблему поможет исключение источников переходов. Советую вносить этот пункт в свой чек-лист по настройке аналитики, чтобы предотвратить принятие решений на основании недостоверных данных.

В аккаунте Google Analytics перейдите в настройки администратора на уровень ресурса. Выберите раздел «Отслеживание» и нажмите «Список исключаемых источников перехода».

Добавьте по отдельности каждый домен, который вы не хотите видеть как источник перехода в отчетах:

Обратите внимание, что эта настройка работает только с кодами analytics.js и gtag.js.

Если на вашем сайте установлен ga.js, настройку нужно сделать в самом коде.

После выполнения данной настройки, сессия уже не будет обрываться и заслуженная конверсия будет присвоена правильному источнику по модели «Last non-direct click», а не «посреднику».

Пометки (not set) и (not provided) в отчетах Google Analytics

По этому вопросу существует огромное множество статей на разных языках, информации в справочном центре Analytics и обсуждений на форумах. Для глубокого ознакомления советую прочесть статью Lunametrics или статью от Paul Koks.

Вкратце о проблеме: Google Analytics может скрывать часть данных из-за конфиденциальности — так обычно и появляется обозначение (not provided). С ним часто сталкиваются SEO-специалисты при анализе поисковых запросов, большую часть которых шифрует Google Analytics.

1. Отсутствие связи Google Рекламы с Google Analytics или ошибки в ее настройке.

2. Проблемы с UTM-метками:

• отключена авторазметка в Google Рекламе;
• при ручной разметке допущены ошибки в синтаксисе (сами параметры меток написаны с ошибками);
• некорректно используется смешанная разметка ссылок.

3. Редиректы — если в посадочной странице вы указали ссылку с редиректом, все данные о предшествующих действиях будут утеряны, а сеансу будут присвоены (not set).

4. Особенности сайта — например, параметры переводятся в нижний регистр или метка вовсе обрезается — из-за таких нюансов будет некорректно передаваться (или полностью теряться) параметр gclid или ручные метки.

5. Google может не получать достаточно данных о некоторых поисковых или рекламных системах, из-за чего такой трафик остается без обозначений либо записывается в реферальный.

6. Окончание сеанса в полночь — это происходит по умолчанию и после идет перезапись сессии, из-за чего могут быть существенные отклонения в количествах сеансов и их источниках.

Решение пунктов 1 и 2 мы рассмотрим позже, в разделе «Проблемы с данными рекламных систем».

Проверить посадочные и сайт на наличие редиректов, о которых идет речь в пункте 3, можно с помощью расширений для браузера или специального софта, например, Netpeak Checker .

Касательно пункта 4: чтобы проверить, сохраняется ли метка и регистр на вашем сайте, в строке браузера пропишите адрес сайта с тестовой меткой, которая будет содержать символы разного типа и регистра:

Если после перехода по такой ссылке символы перевелись в нижний регистр (/?utm_source=test_21) или исчезли вовсе, обратитесь к своему разработчику для исправления.

Пункты 5 и 6 заложены в самом Google Analytics, поэтому избежать их нельзя, но можно учесть при анализе.

Сэмплирование

Простым, но научным языком: сэмплированием называется такая манипуляция с исходной совокупностью данных, которая позволяет выделить меньший набор данных, схожий по своим свойствам с исходным.

Языком Google Analytics: сэмплирование (выборка) — анализ подмножества всех данных с целью выявить значимую информацию в большем наборе данных.

Что же происходит на самом деле: при наличии большого объема статистики (более 500 000 сеансов на ресурс) Google Analytics берет лишь некоторую часть исходных данных и умножает ее на N раз до 100%.

Конечно же, достоверность таких данных находится под большим вопросом.

Как избежать сэмплирования — от примитивных костылей до продвинутого уровня с максимальным удобством:

• использовать меньшие промежутки времени в отчетах: построить отчет в разрезе каждого месяца вместо целого года и проанализировать по отдельности (такой вариант абсолютно не удобен и годится только для простого и разового анализа);
• использовать отчеты без кастомизации, сегментирования и фильтров — чем больше метрик и условий вы задаете, тем сложнее системе построить отчетность;
• создать отдельные ресурсы под разные источники (но такие данные будет сложно свести воедино);
• выгружать данные в Google Таблицы с помощью дополнений, например, «Google Analytics Add-on» или «Supermetrics» — семплирование тоже будет иметь место, но с помощью таблиц проще будет выгрузить данные маленькими периодами (см. пункт 1);
• использовать Google Marketing Platform (но и там есть ограничения);

использовать внешние базы данных: например, выгружать данные в BigQuery или загрузить в Power BI с помощью R.

Проблемы с данными рекламных систем

Связь с Google Рекламой

При наличии ошибок в настройках связи Google Analytics + Google Реклама могут возникнуть серьезные расхождения в данных. Недостоверная статистика приведет вас к ложным выводам и принятию неэффективных решений.

Какие могут возникнуть ошибки и как их исправить:

1. Отсутствие связи между Google Рекламой и Google Analytics.

В Google Analytics перейдите в раздел «Администратор» — «Ресурс» — «Связь с Google Рекламой»:

Выберите нужный рекламный аккаунт:

Также установить связь можно и через интерфейс Google Рекламы: «Настройки» — «Связанные аккаунты» — «Google Analytics».

2. Отключена автопометка Google Рекламы.

Включить ее можно в разделе «Настройки аккаунта», поставив галочку в поле «Автоматическая пометка тегами».

3. Некорректное использование смешанной разметки: автоматической и ручной.

Если помимо автоматических меток вам необходимо задать некоторые параметры вручную (например, для передачи данных в Ringostat), нужно отметить соответствующий пункт в разделе «Настройки ресурса» Google Analytics:

Это позволит задать вручную некоторые UTM-метки.

Но будьте также внимательны в правильности заполнения меток. Например, если вы зададите значение рекламной кампании, которое отличается от ее названия в Google Рекламе, ваши данные разойдутся в Analytics.

При некорректной связке продуктов Google в отчетах Analytics могут появиться метки (not set). Эту проблему мы рассмотрим в следующем разделе.

Парсинг трат других рекламных систем

После настройки связи Google Analytics с аккаунтом Google Рекламы в отчетах появятся данные, которые предшествуют заходу на сайт и не могут собираться счетчиком — например, количество кликов и стоимость клика.

Но при использовании других рекламных систем возникает необходимость также получать аналогичные данные из них. Для этого можно настроить импорт данных с помощью дополнительных сервисов.

Визуализация

Любой работающий с аналитикой специалист знает, насколько важна и полезна визуализация данных: с ней проще воспринимается информация и часто становятся явными проблемные места, которые могут быть незаметны для «невооруженного» глаза.

И каждый, кто работал с Google Analytics, убедился, что возможности для построения графиков там очень ограничены. Для решения этой проблемы я предлагаю вам использовать внешние инструменты.

Один из самых оптимальных вариантов — любимый многими DataStudio. В нем есть множество источников данных, достаточное разнообразие видов таблиц, графиков и диаграмм, а также возможность вычислять собственные показатели и многое другое.

При этом инструмент доступен всем, бесплатен и достаточно прост в использовании — разобраться сможет даже новичок. Чтобы у вас наверняка получилось, наш веб-аналитик Алексей Селезнев написал роскошную статью о том, как построить визуализацию в DataStudio .

Ограниченное количество столбцов и показателей в пользовательских отчетах

Для меня это очень серьезное неудобство, которое сильно ухудшает юзабилити Google Analytics. При создании пользовательских отчетов нельзя добавить на одну вкладку более десяти показателей.

Очень часто при построении отчетности проекта этого объема оказывается недостаточно. Простое решение — парсинг в таблицы.

Выше я уже упоминала дополнение для Google Таблиц, которое так и называется Google Analytics. С помощью этого дополнения вы можете парсить данные в таблицу и манипулировать ими на свой вкус.

Здесь все еще остается в действии ограничение Google Analytics на количество показателей в одном запросе: максимум десять (как и количество столбцов на одной вкладке пользовательского отчета).

Но вот в чем преимущество: в таблице вы можете разбить нужное количество показателей на несколько запросов. Дополнение создаст несколько листов с данными, которые вы сможете объединить на отдельном листе в общую таблицу.

К тому же, вы можете прямо в таблице создавать столбцы, в которых с помощью функций рассчитаете собственные показатели любой сложности и в любом количестве:

Таким образом вы избежите ограничения Google Analytics на количество «Вычисляемых показателей» — их может быть максимум пять в базовой версии.

Более подробную инструкцию по настройке парсинга данных Google Analytics в Google Таблицы вы найдете в нашей статье.

Проблемы с качеством целей и расчетом ROMI (возврат маркетинговых инвестиций)

Дублирование транзакций

Основная причина, по которой данные о транзакциях в Google Analytics могут умножаться на два, — возможность обновлять страницу «Спасибо за заказ». Также проблема может быть в реализации электронной торговли.

Для решения проблемы определите, по какой именно причине она возникает. Затем сделайте так:

• исправьте реализацию кодов электронной торговли;
• сделайте настройку с помощью GTM (подробная инструкция находится в блоге OWOX);
• измените логику работы страницы «Спасибо за заказ» во избежание ее обновления;
• не добавляйте код «Purchase» электронной торговли на сайт и передавайте данные о транзакциях из CRM с помощью Measurement Protocol.
  Это способ, кстати, один из самых надежных, и с его помощью можно построить систему сквозной аналитики. Поэтому мы уделим ему отдельное внимание в следующем пункте данного раздела.

Рассмотрим, как определить наличие дублей в транзакциях. Для этого постройте пользовательский отчет в Google Analytics:

При правильной реализации на каждый идентификатор транзакций их количество будет равным 1.

Если же данные об одной транзакции повторяются несколько раз, вы увидите такие данные:

Передача данных из CRM (Measurement Protocol)

Это не проблема, а решение. Проблема же заключается в отсутствии в Google Analytics данных о действиях с лидами/продажами, которые происходят на следующих этапах воронки уже вне сайта.

Это формирует следующие ограничения и погрешности в анализе и оптимизации:

• отсутствие данных о транзакциях сделанных не через веб-сайт, например, по телефону, в оффлайне и так далее;
• недостоверные данные о транзакциях из-за отсутствия данных об отмененных транзакциях и возвратах;
• отсутствие данных об LTV (Life Time Value) и прочие.

Решение: построение сквозной системы аналитики одним из доступных способов.

Вы можете использовать готовые решения, например, систему сквозной аналитики Ringostat или Roistat, а можете построить собственную сквозную аналитику. Выбор зависит от ваших ресурсов:

• используйте готовые решения, если позволяет бюджет;
• если у вас есть штатный разработчик, поручите ему задачу по реализации отправки пост-запросов через Measurement Protocol — этот вариант может быть и удобнее, и выгоднее для вас.

Если вы все-таки остановились на интеграции через Measurement Protocol , вам поможет подробная инструкция в нашем блоге.

Передача данных о себестоимости

Если вы решили построить свою систему аналитики в Google Analytics и сделать ее полноценной, необходимо также учесть и себестоимость товаров. Это позволит рассчитать эффективность вплоть до ROMI (возврат маркетинговых инвестиций) прямо в Google Analytics.

Раньше мы уже подробно описывали два способа импорта стоимости товаров в Google Analytics:

• ручной — импорт данных с помощью загрузки файла вручную;
• автоматизированный — передача себестоимости через уровень данных dataLayer.

В общем, долой псевдоцели — да здравствует ROI-ориентированный подход!

Выводы

При работе с Google Analytics любой пользователь может столкнуться с рядом вопросов или проблем. Но у любой проблемы есть решение:

1. Чтобы предупредить возникновение проблем из-за ошибок в настройке отслеживания, внимательно читайте техническую документацию и справку, составляйте четкие технические задания для разработчиков.
2. Избежать семплирования поможет экспорт данных во внешние системы хранения и аналитики.
3. Будьте на шаг впереди: заранее проверяйте свой сайт на наличие редиректов, сохранение меток в ссылках, дублирование транзакций.
4. Ограниченность сервиса Google Analytics это не приговор. Визуализируйте в DataStudio. Храните данные в BigQuery. Для любой задачи найдется свое решение.
5. Не ориентируйтесь на псевдоцели или гороскоп — стройте систему сквозной аналитики и считайте ROMI.

Занимаюсь PPC и ASO.

Работаю в компании LetyShops с 2019 года.

С 2016 по 2019 год работала в отделе PPC Netpeak.

Сертифицированный специалист Google Ads, Google Analytics, Yandex Direct, myTarget.