Перейти к основному содержимому

Об экспериментах

Краткое содержание

Эксперименты — это сервис A/B-тестирования, позволяющий проводить эксперименты с различными версиями сайта или приложения для определения наиболее эффективных решений. Сервис поддерживает работу как в приложениях, так и на сайтах.

Примеры задач для «Экспериментов»

  • Тестирование дизайна лендинга
  • Проверка заголовков и описаний товаров
  • А/В-тестирование цен
  • Эксперимент с расположением товаров в каталоге
  • А/B-тест формы заявки
  • Проверка эффективности промокодов

Где найти «Эксперименты»
В разделе «Поведенческая аналитика» — Эксперименты.

Порядок работы с «Экспериментами»

  1. Установите SDK МТС Аналитики для сбора данных о событиях.
  2. Установите SDK экспериментов (web) и добавьте в приложение Remote Config (app) — инструкции для Android и iOS.
  3. Продумайте дизайн эксперимента.
  4. Рассчитайте размер выборки в калькуляторе.
  5. Настройте и запустите эксперимент.
  6. Изучите статистику теста в отчёте.

Особенности A/B/n-тестов в Аналитике
Трафик распределяется по бакетам — группам пользователей, а не по процентам. Это позволяет запускать параллельные и пересекающиеся эксперименты.

Решение от МТС Аналитики

  1. Бакетированию
  2. Применению слоёв

Алгоритм распределения пользователей

  1. Посетитель заходит на ресурс.
  2. Проходит через алгоритм распределения.
  3. Распределяется в конкретный бакет.
  4. МТС Аналитика возвращает флаги в соответствии с номером бакета.

Работа теста в нестандартных режимах
В таблице описаны сценарии, такие как очистка cookies, режим инкогнито, смена браузера и переход между web и app. Для каждого сценария указано, как будет вести себя пользователь.

Эксперименты — это сервис A/B-тестирования, который позволяет проводить эксперименты с различными версиями сайта или приложения, чтобы определить наиболее эффективные решения.

Эксперименты можно проводить и в приложениях, и на сайтах

general

Сервис предполагает создание и управление экспериментами, вариантами экспериментов, слоями, бакетами и флагами

schema

Примеры задач для «Экспериментов»​

  • Тестирование дизайна лендинга
  • Проверка разных заголовков и описаний товаров
  • А/В-тестирование цен
  • Эксперимент с расположением товаров в каталоге
  • А/B-тест формы заявки
  • Проверка эффективности промокодов

Где найти «Эксперименты»​

В разделе «Поведенческая аналитика» — Эксперименты.

findreport

Порядок работы с «Экспериментами»​

img

  1. Установите SDK МТС Аналитики для сбора данных о событиях.
  2. Установите SDK экспериментов (web) и добавьте в приложение Remote Config (app) — инструкция для Andriod и iOS.
  3. Продумайте дизайн эксперимента.
  4. Рассчитайте размер выборки в калькуляторе.
  5. Настройте и запустите эксперимент.
  6. Изучите статистику теста в отчёте.

Особенности A/B/n-тестов в Аналитике​

Трафик ресурса распределяется не по процентам, а по бакетам — группам пользователей.

Контекст

Во многих сервисах A/B-тестирования:

  1. Трафик делится по процентам от аудитории. Из-за этого сильно ограничивается количество экспериментов, которые можно запускать параллельно.

  2. Невозможно проводить пересекающиеся эксперименты.

Решение от МТС Аналитики

В Аналитике эти проблемы решаются благодаря:

  1. Бакетированию
  2. Применению слоёв

Алгоритм распределения пользователей​

  1. Посетитель заходит на ресурс.
  2. Проходит через алгоритм распределения.
  3. Распределяется в конкретный бакет.
  4. МТС Аналитика возвращает посетителю флаги в соответствии с номером бакета

hash

Работа теста в нестандартных режимах​

СценарийЧто происходит?
Cookies очищеныПосетитель видит изменённый интерфейс 6 часов с момента получения эксперимента. Через 6 часов он будет распределён в другой эксперимент
Режим инкогнитоПосетитель определятся как новый
Изменение браузераПосетитель определятся как новый
Переход с web на app одного ресурса и наоборотПосетитель будет участвовать в разных экспериментах на сайте и в приложении