A/B-тест — это отправка двух вариантов сообщения разным частям базы, чтобы сравнить отклик и выбрать лучший. Для малого бизнеса с ограниченным бюджетом это единственный способ не тратить деньги на тексты, которые не работают. В статье разберём, что именно тестировать в SMS и Viber-рассылках, какой минимальный размер выборки нужен, как читать результаты и какие ошибки убивают тест ещё до его запуска.
Зачем малому бизнесу тестировать сообщения
SMS стоит денег за каждое отправленное сообщение. Viber дешевле, но тоже не бесплатен. Когда бюджет на рассылку — 50–150 BYN в месяц, каждое неудачное сообщение ощутимо бьёт по результату. A/B-тест позволяет отправить два варианта на небольшую часть базы (5–10% от общего списка), сравнить клики или ответы и запустить на остальных только тот вариант, который сработал лучше.
Тест не требует специальных знаний. Нужны два текста, разделённая на группы база и одна метрика, за которой вы следите: переходы по ссылке, ответные сообщения или визиты в точку продаж с промокодом.
Что именно менять в SMS и Viber: четыре переменных
Тестировать всё сразу — ошибка. Меняйте одну переменную за раз, иначе не поймёте, что повлияло на результат.
| Переменная | Пример варианта A | Пример варианта B | Что измеряете |
|---|---|---|---|
| Текст призыва к действию | «Забронируйте место» | «Ответьте ДА — и мы запишем» | Количество ответов или кликов |
| Время отправки | 10:00 вторник | 18:30 четверг | Открываемость, клики |
| Длина сообщения | Короткое, до 70 символов | Развёрнутое, 140–160 символов | Клики по ссылке |
| Персонализация | Без имени, общий текст | «Алексей, для вас скидка 15%» | Конверсия в покупку |
Для Viber есть ещё одна переменная — картинка. Можно отправить вариант только с текстом и вариант с изображением товара или баннером. Viber-сообщение с кнопкой обычно получает больше кликов, чем текст со ссылкой, но это стоит проверить на вашей аудитории.
Какой размер выборки нужен при базе до 500 контактов
Классический маркетинговый совет — тестировать на 10% базы. При 500 контактах это 50 человек, по 25 на каждый вариант. Честно — выборка маленькая, и разница в 2–3 клика может быть случайной. Вот что с этим делать:
- Если база меньше 200 контактов, делите её пополам и отправляйте оба варианта на всю базу. Победитель определится по факту, а следующую рассылку вы уже построите на основе результата.
- Если база 200–500 контактов, выделите по 50 человек на каждый вариант. Подождите 2–4 часа, посмотрите на отклик и отправьте победителя остальным.
- Накапливайте результаты от рассылки к рассылке. Один тест на маленькой базе ненадёжен. Три теста с одинаковым результатом — уже закономерность.
Подробнее о том, как разбить даже небольшую базу на группы, хорошо описано в материале про сегментацию базы для SMS, email и мессенджеров.
Как читать результаты и не обмануть себя
Допустим, вариант A получил 12 кликов, а вариант B — 18. Кажется, B победил. Но если в каждой группе было по 30 человек, разница составляет 6 кликов — и может объясняться тем, что в группу B случайно попали более активные клиенты. Поэтому:
- Считайте не абсолютные числа, а долю: 12 из 30 — это 40%, 18 из 30 — это 60%. Разница в 20 процентных пунктов заметна даже на малой выборке.
- Если разница меньше 5 процентных пунктов, результат неубедителен. Повторите тест в следующей рассылке.
- Фиксируйте результаты в таблице: дата, переменная, вариант A, вариант B, размер группы, метрика. Через 5–6 рассылок у вас появится своя база знаний о предпочтениях аудитории.
Типичные ошибки при A/B-тестах в рассылках
- Меняют сразу всё. Новый текст, другое время, добавили картинку — и непонятно, что сработало. Одна переменная за тест.
- Отправляют варианты в разные дни. Вариант A в понедельник, B в среду — это уже не A/B-тест, а сравнение дней недели. Оба варианта отправляйте одновременно.
- Не учитывают сезон и контекст. Тест накануне праздника покажет аномальный отклик. Результаты не переносятся на обычную неделю.
- Тестируют одно и то же повторно. Если три теста подряд показали, что короткие SMS работают лучше длинных, переходите к следующей переменной.
- Игнорируют отписки. Вариант B дал больше кликов, но от него отписались 8 человек? Это провал, а не победа.
Что тестировать в первую очередь при ограниченном бюджете
Если денег хватает на один тест в месяц, начните с призыва к действию. Текст самого предложения обычно влияет на конверсию сильнее, чем время отправки или наличие картинки. Сформулируйте два варианта финальной фразы: один с конкретным действием («Покажите это SMS на кассе»), другой со ссылкой. Отправьте, сравните, запишите результат.
Следующий тест — время отправки. Для услуг, связанных с записью (салон, клиника, автосервис), вечер воскресенья часто работает лучше утра понедельника, потому что люди планируют неделю. Для розницы будний обед бывает эффективнее выходного утра. Но это гипотезы — проверяйте на своей базе.
Для Viber третьим тестом попробуйте сообщение с кнопкой против сообщения без кнопки. Кнопка визуально выделяется в чате и снижает порог действия.
Если вы ещё не определились с стоимостью каналов рассылки, сравните затраты на SMS и Viber: для тестов Viber часто выгоднее, потому что сообщение стоит дешевле и допускает картинки.
3 шага, которые можно сделать на этой неделе:
- Разделите базу на две равные группы (случайным порядком, не по алфавиту и не по дате добавления) и напишите два варианта призыва к действию для ближайшей рассылки.
- Отправьте оба варианта одновременно, подождите сутки и запишите результат: клики, ответы, отписки.
- Заведите простую таблицу (хватит Google Sheets) для фиксации тестов — дата, что меняли, результат. Через два месяца эта таблица будет ценнее любого гайда.
