Калькулятор статистической значимости для A/B теста

Q: Что такое A/B-тестирование?

При таком тестировании вы сравниваете два варианта страницы — A и B. A — это исходная страница, которая также называется контрольной, а страница B практически идентична странице A, за исключением одной небольшой модификации. Можно протестировать и больше вариантов (C, D, E…и т.д.), но, чтобы получить статистически значимые результаты, мы рекомендуем сравнивать страницы A и B.

Q: Как проводится A/B-тестирование?

Чтобы провести A/B-тестирование, вам понадобится исходная страница (вариант A). Как только ваша страница A будет готова, вам нужно продублировать ее, а затем внести в дубликат одно небольшое изменение, чтобы получилась страница B. Это может быть небольшой кусочек текста, заголовок, кнопка, призыв к действию, или даже просто другой цвет/стиль используемого шрифта. Затем вам нужно показывать эти две страницы двум одинаковым по размеру группам пользователей не менее недели. Собирая данные об активности пользователей за эту неделю, вы сможете понять, какой вариант имеет более высокий уровень конверсии, то есть является победителем.

Q: Как долго нужно проводить A/B-тестирование?

Вам нужно проводить A/B-тестирование так долго, сколько потребуется для получения статистически значимых результатов. Ключевой момент здесь в количестве пользовательских сессий на сайте. Если страницу веб-сайта помещают за день 1 миллион пользователей, то A/B-тестирование покажет четкие результаты за несколько часов. Для веб-сайта, который посещает всего 2 пользователя в день, может потребоваться год, чтобы получились статистически значимые результаты. Поведение пользователей обычно меняется за неделю, поэтому мы рекомендуем проводить A/B-тестирование как минимум неделю.

Q: Что такое статистическая значимость?

Статистическая значимость — это вероятность того, что более удачный вариант страницы показывает хорошие результаты не случайно. То есть вы можете сделать вывод, что выигрышный вариант стал таким благодаря изменениям, которые вы внесли.

Проведите A/B-тестирование в 4 шага

A/B-тестирование — это эксперимент, в котором сравниваются две версии (A и B) одной и той же страницы. Сравниваемые версии должны быть практически идентичны — за исключением одного отличия, которое может повлиять на поведение пользователей. Задача тестирования заключается в том, чтобы найти оптимальную версию.

Шаг 1

Введите количество посетителей и общие конверсии для варианта А

Шаг 2

Введите количество посетителей и общие конверсии для варианта В (и С и D при необходимости)

Шаг 3

Нажмите "Определить", чтобы сравнить результаты

Шаг 4

В поле результатов вы увидите вариант-победитель

Как провести a/b тестирование

Чтобы провести A/B тестирование, вам нужно сравнить две страницы (страницу a, и страницу b), которые отличаются только одним элементом. A — исходная страница, которая является контрольной. Страница B должна быть практически идентичной странице A, при этом имея одну небольшую модификацию.

Лучше всего изменять элементы, которые предназначены для увеличения конверсии и активности пользователей на странице. Нужно менять только ОДИН элемент на странице за раз, чтобы получить статистически значимый результат. Если вы измените сразу несколько элементов, вы не будете знать, какой из них сработал, а какой нет.

Обычно меняют:

Заголовки
Кнопки, призывающие к действию
Рекламный текст
Описания товаров
Изображения

В этих элементах можно также поменять:

Цвет
Шрифт
Дизайн

Страница, которая увеличивает конверсию больше, чем другие, становится лидером тестирования. Чем больше вы оптимизируете свою страницу, тем выше будет уровень конверсии.

Как только ваши страницы будут готовы, половина трафика должна остаться на контрольной странице (A), а другую половину нужно направить через измененную страницу (B).

Что такое оценка достоверности в a/b тестировании?

Оценка достоверности — это способ измерения надежности оценки. Если оценка достоверности высокая, то результаты тестирования статистически значимые, и вы можете быть уверены, что результат случился благодаря изменениям, которые вы внесли, а не просто из-за случайных изменений.

95-100%	Ваше a/b тестирование статистически значимое! Вам стоит оставить на сайте измененную страницу.
90-95%	Ваше a/b тестирование едва ли будет статистически значимым. С осторожностью вносите изменения, но лучше сначала проведите другое a/b тестирование.
<90%	Ваше a/b тестирование статистически не значимо. Не вносите эти изменения.

Популярные вопросы

Что такое A/B-тестирование?

При таком тестировании вы сравниваете два варианта страницы — A и B. A — это исходная страница, которая также называется контрольной, а страница B практически идентична странице A, за исключением одной небольшой модификации. Можно протестировать и больше вариантов (C, D, E…и т.д.), но, чтобы получить статистически значимые результаты, мы рекомендуем сравнивать страницы A и B.

Как проводится A/B-тестирование?

Чтобы провести A/B-тестирование, вам понадобится исходная страница (вариант A). Как только ваша страница A будет готова, вам нужно продублировать ее, а затем внести в дубликат одно небольшое изменение, чтобы получилась страница B. Это может быть небольшой кусочек текста, заголовок, кнопка, призыв к действию, или даже просто другой цвет/стиль используемого шрифта. Затем вам нужно показывать эти две страницы двум одинаковым по размеру группам пользователей не менее недели. Собирая данные об активности пользователей за эту неделю, вы сможете понять, какой вариант имеет более высокий уровень конверсии, то есть является победителем.

Как долго нужно проводить A/B-тестирование?

Вам нужно проводить A/B-тестирование так долго, сколько потребуется для получения статистически значимых результатов. Ключевой момент здесь в количестве пользовательских сессий на сайте. Если страницу веб-сайта помещают за день 1 миллион пользователей, то A/B-тестирование покажет четкие результаты за несколько часов. Для веб-сайта, который посещает всего 2 пользователя в день, может потребоваться год, чтобы получились статистически значимые результаты. Поведение пользователей обычно меняется за неделю, поэтому мы рекомендуем проводить A/B-тестирование как минимум неделю.

Что такое статистическая значимость?

Статистическая значимость — это вероятность того, что более удачный вариант страницы показывает хорошие результаты не случайно. То есть вы можете сделать вывод, что выигрышный вариант стал таким благодаря изменениям, которые вы внесли.

Воспользуйтесь нашим бесплатным калькулятором статистической значимости для A/B теста прямо сейчас