29 июня прошел FinChess — шахматный турнир среди финансовых и IT-компаний. Команда MyTracker принимала участие в турнире, а в секции FinChess public talks Александр Смирнов, программист-исследователь команды предиктивной аналитики MyTracker, сделал доклад о схожести алгоритмов шахматной игры и моделей машинного обучения, которые используются в продуктах MyTracker.
В этой статье мы публикуем основные тезисы доклада, который состоит из трех частей:
В этой статье можно проследить интересные параллели между игрой в шахматы и IT-продуктами, а также лучше понять, как работают системы MyTracker — Personalize, прогноз LTV и Fraud Scanner. Статья будет полезна аналитикам, маркетологам и любителям шахмат.
Поворотным моментом как для шахмат, так и для современной IT-отрасли стало увеличение вычислительных способностей компьютеров, которые позволили применить на практике наработанные десятилетиями методологии численного моделирования.
В результате, появились шахматные движки, которые научились решать ресурсоемкие задачи, такие как рекомендация оптимального хода.
Рекомендация хода — расчет и подбор комбинации ходов, которые с наибольшей вероятностью приведут к желаемому результату, то есть к победе в партии.
На самом деле, подобная задача стоит перед любым рекомендательным сервисом, например:
Количество ходов в шахматах конечно, поэтому их можно просто перебрать и найти те, которые приведут к заветной цели. Поскольку вся работа сводится к вычислительным мощностям и экспоненциальному росту числа ходов, которые нужно просчитать, то в продвинутых шахматных движках, как и в рекомендательных системах, используется принцип обучения с подкреплением (Reinforcement learning).
Reinforcement learning (RL) — это алгоритмы, которые обучаются и используют обратную связь от окружающей среды, в которой совершают действия. Если действие приводит к результату, за который положена награда, то они будут делать это действие (или последовательность действий) гораздо чаще.
Примеры наград для рекомендательных систем:
На этом принципе был построен движок AlphaGO Zero, который удивил своими результатами. В 2017 году он обыграл один из самых сильных классических движков — Stockfish. Он сыграл сам с собой огромное количество партий и научился находить наиболее верные ходы в большинстве ситуаций.
На принципе Reinforcement learning работают и алгоритмы многоруких бандитов, которые часто используется в задаче подбора оптимального товара (оффера) в рекомендательных сервисах, таких как MyTracker Personalize.
Подробнее об алгоритмах многоруких банжитов в нашем скачиваемом гайде.
После предоставленного оффера бандит получает обратную связь в виде платежа, который совершил или не совершил пользователь. Постепенно бандит изучает влияние своих действий (показ офферов) на среду (платежное поведение пользователей) и формирует самое выгодное предложение.
Подробнее о том, как работает рекомендательный сервис MyTracker Personalize можно прочитать в нашем кейсе с мобильной игрой Hustle Castle.
Перед игрой с оппонентом, шахматист и его команда проводят анализ действий (ходов) соперника. На этом этапе собирается информация об оппоненте: в каком стиле он играет, как проходили его последние партии, какие у него предпочитаемые ходы и слабые стороны.
Похожая задача стоит и перед предиктивной аналитикой при анализе окупаемости рекламных кампаний. Чем раньше это станет известно, тем раньше можно будет выключить неэффективную кампанию и сохранить деньги. Для решения этой задачи, как и в шахматах, анализируется предыдущая статистика рекламной кампании: сколько в ней было людей, какая динамика развития, сколько денег она уже принесла.
Для получения более точного и быстрого прогноза можно строить модели на исторических данных. В задаче с рекламной моделью это могут быть простые линейные модели, в случае с шахматами — вероятностные карты ходов.
Подробнее о том, как самостоятельно построить прогноз LTV мобильного приложения — можно прочитать в нашем руководстве.
Для наиболее эффективной работы модели прогнозирования лучше получить дополнительную экспертную оценку, которая может учестьте аспекты задачи, которые остаются за гранью модели.
Например, эксперт по шахматам может заметить, что анализируемые партии были сыграны со слабыми соперниками и не повторятся в реальном поединке. В случае с рекламной кампанией эксперт может рассказать о внутренних процессах, которые повлияли на проведение кампании — например, сезонные активности или запуски нового функционала.
Клиенты MyTracker всегда могут получить экспертную помощь для оценки результатов предиктивной аналитики. Для этого нужно обратиться к менеджеру или в службу поддержки клиентов.
Основная проблема предиктивной аналитики и подготовки к шахматному турниру — резкое изменение обстоятельств:
В таких случаях текущие условия перестают согласовываться с тем, что было в исторических данных, на которых производилось обучение. В результате, точность предиктивной аналитики падает, и она перестает приносить ценность. Однако в какой-то момент эти ситуации тоже станут историческими данными, к которым алгоритмы смогут адаптироваться.
Например, так произошло с изменениями в iOS 14.5+, которые сначала снизили ценность предиктивной аналитики до нуля, но затем сервисы научились строить прогнозы дохода даже в условиях ограниченных данных и получать уверенные результаты.
О том, как работают прогнозы LTV после iOS 14.5+, можно прочитать в нашем блоге.
Как в шахматах, так и в IT-продуктах, существует «нечестная» конкуренция. В шахматах это называется читерством, а в IT-продуктах — фродом. Общие подходы к определению «нечестной» конкуренции в этих двух областях очень похожи.
Шахматные движки настолько сильно развились, что для них даже создавались отдельные турниры. Они так преуспели в этом деле, что уже в 1997 году Deep Blue победил действующего в то время чемпиона мира Гарри Каспарова. Далее преимущество над людьми только нарастало.
Таким образом, шахматный движок — элемент, который отвечал за прогресс в шахматах, стал инструментом для жульничества. Эта проблема стала особенно актуальна в онлайн-матчах.
При игре между людьми запрещено использовать шахматные движки. Ими можно пользоваться при подготовке, в качестве сильного оппонента. Но во время партии — нельзя.
Если один игрок будет пользоваться шахматным движком, то получит явное преимущество, и игра будет не честной. Если оба игрока будут пользоваться шахматными движками, то это уже будет игра между алгоритмами, а не между людьми.
Цель рекламы в мобильных приложениях: привлечь пользователей, которые установят приложение и будут выполнять в нем определенные действия - совершат покупку, оформят подписку или просто каждый день в течение месяца будут заходить в приложение и смотреть рекламу.
Пользователей привлекают в приложение рекламные партнеры — сервисы, которые размещают рекламу на площадках в интернете: на сайтах, видеохостингах и в других приложениях. Здесь появляется пространство для фрода — рекламный партнер может жульничать, чтобы получать деньги за приведённых пользователей, которые оказываются ботами.
Боты, которые приходят в приложение вместо реальных пользователей, могут выполнять необходимые целевые действия (оформление заказа, достижение уровня в игре), которых достаточно для того, чтобы партнер получил свое вознаграждение. Но после этого боты перестают проявлять активность и не приносят приложению никакой прибыли.
Поведение читера и фродового пользователя отличается от поведения обычных игроков и пользователей.
Источники фрода тщательно пытаются маскироваться, а системы антифрода ищут все более сложные способы отличать «хорошее» от «плохого».
При любом проведении турнира все ходы участников партии записываются. Современные шахматные движки позволяют для каждой позиции в партии построить список наиболее благоприятных ходов. Если ходы, который совершал человек, полностью повторяют ходы, которые советует компьютер — это признак читерства.
Шахматные движки могут оценивать точность хода игрока — то, насколько ход согласуется с решением самого движка. После партии очень часто можно видеть параметр «Точность ходов», по которому можно вычислить читера.
Во многих шахматных онлайн-платформах “Точность ходов” считается автоматически после каждого матча.
Если видно, что предыдущие игры человек играет не очень точно, а потом внезапно, особенно через короткий промежуток времени, начинает выигрывать несколько партий подряд с аномально высокой для себя точностью — это тоже признак читерства.
Также, например, если игрок окончил последнюю тысячу партий с точностью в 40-50%, а последние десять с точностью в 70% — это тоже повод задуматься. Умный читер может не использовать самые сильные ходы, а только те, которые движок предлагает под номером 3 или 4. Этого всё равно может хватить для победы, но выявить читера будет сложнее.
Фрод в рекламе выявляется с помощью антифрод-систем, таких как Fraud Scanner от MyTracker. Они проверяют:
Для примера возьмем график с параметром «Время до установки» — это время, которое проходит между тем, как пользователь переходит из рекламного объявления на страницу в магазине приложений, и нажимает на кнопку «Установить».
На верхнем графике нормальное распределение времени до установки, полученное из трафика проверенного партнера — оно используется как эталонное значение. На нижнем графике есть аномальный пик, который говорит о том, что какой-то процент пользователей нажимает на кнопку «Установить» слишком быстро — это признак наличия фрода в трафике.
При обнаружении аномалий антифрод-система сигнализирует о потенциальном фроде. Далее эти данные можно проверить с помощью дополнительных отчетов и использовать в спорах с рекламным партнером, чтобы добиться возврата средств за установки с ботами.
В этой статье мы обозначили три явные параллели между шахматной игрой и цифровыми сервисами MyTracker:
С помощью этих знаний можно лучше понять работу IT-продуктов, основанных на моделях машинного обучения, и еще эффективнее использовать их для развития своих продуктов.
А для начала работы с ними — всего лишь нужно подключить MyTracker.
