Автор: Кирилл Жаворонков, директор по маркетингу, Ситимобиль
Знаете закон Парето? Тот что про 80/20, где 20 процентов усилий это 80 процентов результата. Если знаете — отлично, если не знаете — узнайте, будет что друзьям рассказать, а еще будет проще запомнить что такое А/Б тесты, так там история про 80/20 также прослеживается. Но, давайте по порядку.
А/Б тесты, если говорить по-простому, то это сравнение контрольной группы с тестовой или тестовыми в который изменен какой-то параметр. Просто получилось? Нет? А знаете почему определения всегда обезличены и абстрактны? Чтобы захватить больше внимания и большую ЦА. Так как будучи автором, я не знаю кто будет читать этот текст — маркетолог со стажем, школьник, маленький предприниматель или предприниматель побольше, а может быть мама маленького предпринимателя. Абстрактные определения позволяют независимо от читающего дать ему додумать определение так, как это подходит ему. Тем самым подстроится под потребность большей выборки.
Представьте что я бы написал определение вот так: А/Б тесты — это когда запуская рекламу ты на одну и ту же аудиторию ставишь разные картинки, чтобы после тестового запуска посмотреть какой креатив зашел людям лучше. Или вот так: А/Б тесты это когда ты половине своих клиентов отсылаешь купон на скидку на 300 рублей, а другим на 500 рублей и смотришь на то как реагирует аудитория — как срочно вернется, какой процент от выборки, как сильно ударит по экономике и тд.
Может лучше так: А/Б тест — это 100 разным клиентам положить разное кол-во огурчиков в бургер и посмотреть как на это будут реагировать люди.
- А/Б тест — это 5 дней ловить на мотыля, день на червя а день на кашу.
- А/Б тест — это поменять цвет кнопки на сайте для 20% аудитории.
- А/Б тест — это сделать что-то, применить не ко всем, сравнить и понять как будет лучше.
- А/Б тест — это то что я сделал в рамках этой статьи, только я понятия не имею
Как с вас собрать статистику. Но, “на пальцах” идя сверху вниз по тексту вы на 100% поняли о чем речь, “на пальцах” на одном из примеров вы подметили себя сильнее чем в остальных, также “на пальцах” вы начали примерять остальные варианты, угадывая к кому это может относиться.
Как проводить тесты — только ваше дело, но, очень важно — это именно тест, а значит у него есть вводные, искомое и результат. Проводите тесты только при условии, что вы будете их анализировать и будете дорабатывать продукт на основе тестов: срезать косты, править макеты, ускорять производство, совершенствовать технику.
А/Б тесты помогают сделать шаг вперед без страха что отступать будет некуда. Наш добрый друг Вильфредо Парето закрепил за собой ассоциацию на 80/20, но он охотно поделиться этой разбивкой с вами для ваших тестов. Хотите провести эксперимент но боитесь? Проведите его на 20% аудитории. Не боитесь? Проведите на 80%, а 20 не трогайте чтобы было с чем сравнить. У вас много идей? Оставьте 20% группы для контроля а 80% остальных поделите в нужных вам долях, лучше в равных: 20/20/20/20, но если во что-то верите больше, а во что-то меньше, никто не запрещает сделать разбивку 30/30/10/10 или любой другой.
Например: Есть у вас бургерная и 100 постоянных клиентов, а из позиций только двойной чизбургер — каждая котлета из мраморной говядины обходится вам в много рублей и вы решили удешевить производство бургеров: 20% клиентов оставляем в контроль, а их бургеры оставляем в покое, первой тестовой группе кладём одну из котлет свиную, второй группе меняем обе котлеты, третьей группе делаем котлеты не по 80 а по 60 грамм, а 4‑й группе также облегчаем котлеты, но кладем побольше сыра, чтобы отвести внимание от котлет. Что на выходе? 5 групп — 4 эксперимента, 4 результата которые нужно сравнить между собой, а также с контрольной группой, а на основе этих самый результатов вы сможете принять решение, на основе которых можно принять еще решения…и еще, и еще и так до бесконечности. А потом вы узнаете про А/Б/С, а дальше про AAARRR, ну туда пока не смотрите, там страшно.
Давайте подытожим. Если отбросить что А/Б тесты это маркетинговая концепция, то на выходе остается очень понятная и простая истина: Экспериментируйте, тестируйте, анализируйте и внедряйте, то что работает, а что не работает — не внедряйте. И это всё? И это всё.
Кстати, заметили что в статье нет картинок? Надеюсь что вам хватит фантазии нарисовать картинки у себя в голове — тема А/Б тестов не простая, но чтобы ее понять вам хватило буквально пары минут.