Персонализация неразрывно связана с A/B-тестами. Только с их помощью можно оценить, насколько эффективно будет внедрение изменений в проект и можно ли добиться от этих изменений наилучших результатов.
В этой статье мы разберем:
Цель персонализации — предоставить пользователю контент, опыт или функциональность, которые нужные ему здесь и сейчас.
В роли индивидуального предложения может выступать что угодно: от персонально подобранного цвета до наиболее подходящего товара.
Один из популярных подходов к персонализации — это использование моделей машинного обучения, которые сами обрабатывают большие данные и на их основе подбирают персонализированные предложения.
Для достижения наилучшего результата нужно выбирать модель в зависимости от конечной цели и типа продукта:
Персонализация с помощью ML-моделей может улучшить ключевые метрики приложений: повысить LTV и удержание, снизить отток или повысить доход приложения.
Подробнее об инструментах персонализации с помощью ML-моделей можно прочитать в нашем блоге.
A/B-тестирование — это самый простой и распространенный способ проверки эффективности внедрения изменений в продукт. О семи золотых правилах А/Б тестирования читайте в нашем блоге.
A/B-тестирование помогает убедиться в том, что результат от внедренных изменений не случаен и не является кратковременным, а имеет долгосрочный эффект. Это особенно важно для приложений с устоявшейся аудиторией, которая остро реагирует на любые изменения.
Однако у этого инструмента есть свои ограничения: в результате A/B-тестирования офферов можно увидеть наиболее оптимальное предложение для всей аудитории, которая участвовала в тестировании, но не для конкретного сегмента пользователей.
Например, если в процессе тестирования аудитория приложения была разделена на три сегмента и определена оптимальная цена оффера в $1,99, то может оказаться, что:
Такой подход приводит к недополученному доходу: первый сегмент готов заплатить больше, а третий не готов. В итоге, третий сегмент может вообще никогда не совершить покупку и не принести доход приложению.
Проблему с недополученным доходом можно решить с помощью персонализации офферов. Такие сервисы как MyTracker Personalize могут подбирать оптимальное предложение для сегментов аудитории или отдельных пользователей.
С помощью такого сервиса можно, в режиме реального времени, показывать пользователям индивидуальные рекомендации, которые включают персонализированные предложения, ранжированные списки товаров и их стоимость.
MyTracker Personalize самостоятельно отсортирует игровые предметы в магазине под интересы пользователей и предложит персонализированные скидки. Для этого сервис делит аудиторию на сегменты.
Первым шагом MyTracker Personalize делит аудиторию на сегменты и определяет для каждого сегмента, какой именно оффер нужно показывать, чтобы оптимизировать целевую метрику.
Сегментация в MyTracker Personalize проводится по набору критериев. Это может быть:
Для подбора офферов используются модели, основанные на многоруком бандите, который реализует две стратегии:
После первого этапа накопления данных многорукий бандит анализирует, какой из офферов приносит наибольшую выгоду в зависимости от выбранной целевой метрики, например, ARPU, и определяет его как оптимальный.
Затем алгоритм начинает чаще показывать пользователям наиболее оптимальный оффер. При этом все остальные офферы тоже показываются, но с меньшей частотой. Это связано с тем, что в течение времени могут произойти изменения внутри приложения (например, начались скидки) или может измениться поведение новых пользователей. Тогда офферы могут поменяться местами: более эффективные офферы могут стать менее эффективными, и наоборот.
Алгоритму важно понимать, какой оффер сейчас покупают чаще всего, а какой реже всего. Основываясь на этих данных, система оптимизирует выдачу офферов — чем больше покупок оффера видит система, тем чаще его показывает.
Например, на картинке ниже можно заметить, что на второй день Оффер 2 стал выдаваться чаще остальных, так как принес наибольший ARPU. Он становится приоритетным. При этом остальные офферы продолжают выдаваться, но с меньшей частотой.
Можно сказать, что многорукий бандит — это A/B-тест, который адаптирует размеры групп под наиболее оптимальный оффер в данный момент, тем самым уменьшает ваши потери от неоптимальных групп.
При проведении A/B-тестов недостаточно просто сравнить результаты и сделать выводы, сначала нужно убедиться, что результаты этих изменений не случайны. Для этого проводится статистический тест, который проверяет статистическую значимость результата.
Статистическая значимость — это процент допустимой ошибки теста.
Для расчета статистической значимости система использует три основных параметра исследуемой метрики:
При этом к расчету могут добавляться дополнительные показатели, в зависимости от проекта.
Далее в статистическом тесте проверяются гипотезы о наличии и отсутствии изменений. Например: «Среднее значение в группах A и B совпадает или различается».
После нормализации метрики мы получаем график с двумя пунктирными линиями и одной сплошной. Левая пунктирная линия — это изначальный показатель, а правая — целевое значение теста. Сплошная линия — это уровень статистической значимости.
Чем ближе сплошная линия к левой пунктирной, тем достовернее результат тестирования. На примере ниже статистическая значимость не достигнута.
Такое часто бывает на старте тестирования, когда прошло недостаточно времени и собрано мало данных. В этом случае можно построить график Box Plot (“ящик с усами”) или гистограмму на текущих результатах. Здесь мы видим, что персонализация работает лучше стандартных предложений. И статистическая значимость не достигнута из-за того, что у теста пока мало данных. Если немного подождать, то она выйдет в плюс.
Теперь, когда мы разобрались с теорией, можно посмотреть, как работает тестирование и внедрение персонализированных офферов в действующем продукте.
Hustle Castle — это симулятор средневекового замка с элементами RPG.
Гипотеза: внедрение рекомендательной системы MyTracker Personalize позволит увеличить ARPU сегмента неплатящих игроков на 10-30% с помощью персонализированных предложений.
Ключевая метрика: ARPU.
Длительность тестирования: 3 месяца.
Как проходил эксперимент: всех неплатящих пользователей разбили на две группы. Контрольная группа, которой продолжили показывать офферы по старой логике и рекомендательная группа, которой каждые две недели показывали 1 из 100 вариантов офферов, согласованных со студией.
MyTracker Personalize разбил рекомендательную группу на 2 сегмента с помощью ML-модели, которая определяет вероятность платежа от пользователя. Эта модель показала наилучшие результаты по сегментированию аудитории по сравнению с остальными моделями сегментирования: по стране, вероятности оттока и другим показателям.
На выбранных сегментах мы проверили несколько вариантов моделей по выбору оптимальных офферов. В результате, на одном сегменте лучший результат показал многорукий бандит с Thompson Sampling оптимизацией, а на другом сегменте многорукий бандит со стратегией выбора офферов с помощью жадного подхода.
Результат: после внедрения персонализированных офферов ARPU Hustle Castle в рекомендательной группе увеличился на 23%.
Подробнее о кейсе можно прочитать в нашем блоге.
MyTracker Personalize — это сервис для подбора персонализированных офферов. С его помощью можно автоматизировать проведение A/B-тестов и увеличить доход приложения на 10-30%.
Подключите MyTracker Personalize в три простых шага:
