Об экспериментах

Краткое содержание

Эксперименты — это сервис A/B-тестирования, позволяющий проводить эксперименты с различными версиями сайта или приложения для определения эффективных решений.
Эксперименты можно проводить как в приложениях, так и на сайтах.

Примеры задач для «Экспериментов»

• Тестирование дизайна лендинга
• Проверка заголовков и описаний товаров
• А/В-тестирование цен
• Эксперимент с расположением товаров в каталоге
• А/B-тест формы заявки
• Проверка эффективности промокодов

Где найти «Эксперименты»
В разделе «Поведенческая аналитика» — Эксперименты.

Порядок работы с «Экспериментами»

1. Установите SDK МТС Аналитики для сбора данных о событиях.
2. Установите SDK экспериментов (web) и добавьте в приложение Remote Config (app) — инструкции для Android и iOS.
3. Продумайте дизайн эксперимента.
4. Рассчитайте размер выборки в калькуляторе.
5. Настройте и запустите эксперимент.
6. Изучите статистику теста в отчёте.

Особенности A/B/n-тестов в Аналитике
Трафик распределяется по бакетам — группам пользователей.

Во многих сервисах A/B-тестирования:

1. Трафик делится по процентам от аудитории, что ограничивает количество параллельных экспериментов.
2. Невозможно проводить пересекающиеся эксперименты.

Решение от МТС Аналитики

1. Использование бакетированию.
2. Применение слоёв.

Алгоритм распределения пользователей

1. Посетитель заходит на ресурс.
2. Проходит через алгоритм распределения.
3. Распределяется в конкретный бакет.
4. МТС Аналитика возвращает флаги в соответствии с номером бакета.

Работа теста в нестандартных режимах
В таблице описаны сценарии и их последствия, например:

• При очистке cookies — изменённый интерфейс виден 6 часов.
• В режиме инкогнито — пользователь определяется как новый.

Эксперименты — это сервис A/B-тестирования, который позволяет проводить эксперименты с различными версиями сайта или приложения, чтобы определить наиболее эффективные решения.

Эксперименты можно проводить и в приложениях, и на сайтах

Сервис предполагает создание и управление экспериментами, вариантами экспериментов, слоями, бакетами и флагами

Примеры задач для «Экспериментов»

• Тестирование дизайна лендинга
• Проверка разных заголовков и описаний товаров
• А/В-тестирование цен
• Эксперимент с расположением товаров в каталоге
• А/B-тест формы заявки
• Проверка эффективности промокодов

Где найти «Эксперименты»

В разделе «Поведенческая аналитика» — Эксперименты.

Порядок работы с «Экспериментами»

1. Установите SDK МТС Аналитики для сбора данных о событиях.
2. Установите SDK экспериментов (web) и добавьте в приложение Remote Config (app) — инструкция для Andriod и iOS.
3. Продумайте дизайн эксперимента.
4. Рассчитайте размер выборки в калькуляторе.
5. Настройте и запустите эксперимент.
6. Изучите статистику теста в отчёте.

Особенности A/B/n-тестов в Аналитике

Трафик ресурса распределяется не по процентам, а по бакетам — группам пользователей.

Контекст

Во многих сервисах A/B-тестирования:

1. Трафик делится по процентам от аудитории. Из-за этого сильно ограничивается количество экспериментов, которые можно запускать параллельно.

2. Невозможно проводить пересекающиеся эксперименты.

Решение от МТС Аналитики

В Аналитике эти проблемы решаются благодаря:

1. Бакетированию
2. Применению слоёв

Алгоритм распределения пользователей

1. Посетитель заходит на ресурс.
2. Проходит через алгоритм распределения.
3. Распределяется в конкретный бакет.
4. МТС Аналитика возвращает посетителю флаги в соответствии с номером бакета

Работа теста в нестандартных режимах

Сценарий	Что происходит?
Cookies очищены	Посетитель видит изменённый интерфейс 6 часов с момента получения эксперимента. Через 6 часов он будет распределён в другой эксперимент
Режим инкогнито	Посетитель определятся как новый
Изменение браузера	Посетитель определятся как новый
Переход с web на app одного ресурса и наоборот	Посетитель будет участвовать в разных экспериментах на сайте и в приложении