Войти

Как оценивать эффективность новых фич с помощью MyTracker

Продуктовая аналитика помогает команде переосмыслить видение продукта и сделать его более соответствующим интересам аудитории.

Ещё ценнее — когда продуктовые показатели можно связать с маркетинговыми. Так можно быстро увидеть, что привлекает новых пользователей и что удерживает существующих.

MyTracker объединяет продуктовые и маркетинговые метрики в одном интерфейсе и позволяет изучать их в разрезе по каналам. В результате можно строить таблицы и графики, показывающие влияние новых функций продукта на заинтересованность пользователей (как старых, так и новых). Вы можете проверить, было ли обновление продукта удачным, улучшило ли оно степень вовлеченности аудитории, нет ли с ним проблемы, которую требуется срочно устранить.

MyTracker предлагает несколько способов измерить влияние нового апдейта на аудиторию. Однако еще до запуска нового функционала важно понимать, какого результата мы хотим достичь. Будет ли это рост количества подписок, снижение числа отказов или увеличение длительности сессии в приложении. От нашей цели зависит, за какими конкретно параметрами приложения мы будем следить.

Есть несколько способов проверить эффективность новой фичи с помощью MyTracker. В идеале стоит пользоваться несколькими из них, выбирая подходящую для вас комбинацию.

1. Разметка фичи кастомными событиями

Ещё до релиза фичи стоит максимально подробно разметить её через кастомные события:

Кроме этого, в кастомном событии вы можете дополнительно разметить параметры, чтобы детально рассмотреть путь пользователей.

Например, человек желает оформить подписку. Допустим, путь к подписке занимает четыре экрана. При этом на каждый из экранов можно попасть разными путями (через разные кнопки, окна, выпадающие списки). В MyTracker, можно разметить факт посещения человеком экрана, не отслеживая, какими путями он туда добирался. Если это сделать, вы увидите общее количество заходов на экран и то, сколько в итоге перешли на следующий. Например, если один из экранов особенно «популярен», а на следующий заходят гораздо реже, это может означать, что люди несколько раз возвращаются на предыдущий экран, чтобы изменить свое действие, или что кнопка перехода на следующий экран не настолько удобна, как хотелось бы.

Отслеживая только количество заходов на экраны, вы не увидите успех того или иного действия, но зато быстро сможете распознать, где может крыться проблема и существует ли она вообще. Такая простая разметка очень полезна для функций приложения, занимающих много экранов, особенно если у вас есть множество вариантов перехода между ними.

Другим вариантом разметки является разметка по совершенным действиям. То есть, событие будет включаться тогда, когда пользователем нажата кнопка или сделан выбор из списка. Трекер будет отмечать не просто нахождение человека на экране, а успех конкретной операции. Это позволяет точечно увидеть «слабое звено», если, скажем, дизайн или надпись на кнопке не вызывает у пользователей желания её нажимать.

О том, что такое кастомные события и как настроить их передачу в MyTracker, можно подробнее прочитать тут.

2. Раскатка версии с новой фичей на 10-50% пользователей

Зачастую полезно выводить новую версию не сразу для всех пользователей, а постепенно. Почему это важно? В обновлениях могут прятаться ошибки, в том числе критические. Постепенная выкатка приложения и внимательное отслеживание его показателей с помощью MyTracker позволят быстро проверить приложение на наличие проблем с минимальным неудобством для пользователей и почти без рисков для компании.

Гибкий конструктор отчетов в MyTracker позволяет вам строить отчеты в разрезе версии приложения. Вы сможете оперативно сравнивать ключевые метрики до и после обновления приложения и делать выводы об эффективности нового функционала.

По кастомным событиям вам видно, по какому пути двигаются пользователи. И могут ли они пройти его до конца. Если какой-то баг их останавливает, и они не могут в полной мере воспользоваться возможностями приложения, — видно, на каком этапе происходит блок.

При запуске новой (тестируемой) версии приложения стоит обратить особое внимание на DAU, Retention Rate и частоту использования фичи. Последнее позволяет проверить, насколько она востребована, а по падению DAU и Retention Rate у пользователей можно понять, что обновление не нравится аудитории.

Помимо этого, в MyTracker можно разделить пользователей в зависимости от технических характеристик устройств, которые они используют. Это позволит вам сравнить их активность и быстро локализовать проблему в случае, если она касается конкретного производителя, разрешения экрана или версии ОС.

3. Узнаем количество и степень вовлеченности пользователей

Метрика «Уникальные кастомные события» в MyTracker позволяет понять, сколько именно пользователей или устройств проходит через нужный вам путь. Вы видите в трекере число уникальных просмотров экрана или нажатий кнопок, которые вас интересуют, и можете сравнить это с общим количеством пользователей.

Для проверки частоты использования фичи (кнопки, функции, экрана) мы рекомендуем брать соотношение общего количества кастомных событий к уникальным кастомным событиям. Такой подход позволит не брать в учёт пользователей, которые неоднократно повторяют какое-либо действие, и проанализировать средние показатели.

Кстати, большая частота возникновения события — это не всегда хорошо. Возможно, пользователям что-то непонятно, и именно из-за этого они каждый раз возвращаются на определенный экран или многократно нажимают одну и ту же кнопку.

Как правило, и аномально низкая, и аномально высокая степень вовлеченности пользователей — это повод задуматься, что происходит в этом месте. Более детальный анализ можно совершить, посмотрев на данные под другим углом. Возможно, увеличение частоты какого-то события связано не с ошибкой в приложении, а с его запуском на рынок и, соответственно, увеличением количества общих установок.

4. Дополнительные методы отслеживания эффективности фич

Иногда, особенно при работе с приложениями с малым количеством пользователей, можно столкнуться с тем, что действия разработчиков сильно влияют на ключевые показатели. Это особенно заметно при обновлениях и запусках новых фич: вы сами тестируете приложение силами разработчиков или тестовой группы, и эти данные могут искажать статистику.

Поэтому, если вы серьезно относитесь к анализу своих метрик, часто обновляете приложение и желаете, чтобы данные тестирования не влияли на общую картину, мы рекомендуем разработчикам использовать в MyTracker два разных приложения (два разных SDK-ключа). Один — для тестовой предрелизной сборки, а второй — для основной, текущей версии.

Отдельное приложение в рамках трекера даёт вам гораздо большую свободу действий. Во-первых, такая система позволит вам просто и быстро отделять ваши тестовые действия в статистике от поведения реальных пользователей. Во-вторых, в дальнейшем будет гораздо проще выгружать сырые данные по использованию тех или иных событий для внешнего анализа (меньшее количество событий = меньший объем для загрузки).

О том, как подать запрос на экспорт такой информации, рассказывается здесь. А детальнее о том, чем вам поможет использование Raw Data API, и как с помощью массива сырой информации можно выявлять факты мошенничества или улучшать таргетинг, мы описываем в материале «Выгрузка сырых данных из MyTracker: какие возможности открываются?».

5. Работа с аудиторными сегментами

С помощью аудиторных сегментов в MyTracker вы сможете создавать любую выборку на базе пользователей и находить закономерности, которые не видны через стандартные отчеты. Например, выделить только тех пользователей, которые воспользовались конкретной функцией, а затем в отчетах отфильтровать данные и метрики только по этой части аудитории.

То есть, вы выделяете нужную вам группу, и работаете с данными исключительно по ней. Например, делаем выборку по людям, которые заходили в приложение в последние 30 дней. И из них смотрим тех, кто совершил кастомное событие, касающееся новой функции. Получаем людей, которые воспользовались новой фичей, и можем сравнивать их с теми, кто ей не заинтересовался.

Может быть, те, кто взаимодействовал с новым функционалом стал гораздо реже совершать покупки в приложении? Или реже/чаще оформляют подписку? Вы можете посмотреть, выше или ниже у них отток. Как меняется LTV и Retention, что происходит с количеством транзакций и с днями активности.

Полезным инструментом здесь станут LT-метрики в MyTracker. С помощью этих метрик можно проанализировать данные по аудитории, привлеченной в определённое время, и, тем самым, получить возможность легко оценить эффект от прошедших в этот период мероприятий: рекламных кампаний, акций, и, конечно, новых обновлений. Кроме того, LT-метрики , можно использовать как когорты, и отслеживать, как та или иная группа пользователей взаимодействует с новой фичей.

Подробнее о типах метрик (потоковые, LT, AT, CA) можно прочитать тут.

А выделить новый сегмент пользователей для последующего анализа можно в MyTracker во вкладке «Отчёты», в разделе «Сегменты». Достаточно указать параметры, по которым вы хотели бы фильтровать аудиторию. Например, по кастомному событию взаимодействия с новой фичей, моделям устройства, версии приложения, сумме in-app покупок, подпискам, возрасту, полу и так далее.

Затем, если вы хотите построить отчет с данными только по нужному вам срезу аудитории, следует зайти в «Конструктор», и выбрать его в разделе «Другие фильтры» → «Сегмент».