Homework 2

Общие замечания

  • Срок сдачи работы: 8 июня 2025 23.59 MSK, с штрафом в 1 балл – 15 июня 2025 23.59 MSK.

  • Домашнее задание лучше выполнять в R или R + Rmarkdown. Если R и Rmarkdown у вас вызывают сомнения, можете прислать решение в виде R скрипта, где комментарии по работе должны быть в виде строк комментариев.

  • Если вы работаете в Python - аналогично, меня устроит и .ipynb (Jupyter), и Google Colab, и .py. Если будете использовать Colab, то я скопирую ноутбук себе сразу после того, как вы мне пришлете ссылку.

  • Если ни R, ни Python у вас не вызывают энтузиазма, и вы хотите как-то по-другому выполнять работу, напишите мне дополнительно.

  • Свой файл с кодом решения назовите по структуре mar241_hw1_<ваша фамилия латиницей> и пришлите либо в личных сообщениях в телеграме, либо на почту , в теме также укажите mar241_hw1_<ваша фамилия латиницей>.

  • Старайтесь комментировать каждую значимую строчку кода (т. е., в которой происходит сложное или не очень прозрачное преобразование). Комментарии нужны, впервую очередь, для того, чтобы вы могли продемонстрировать, что понимаете, что и зачем делаете. Если некоторые операции однозначны и очевидны, комментарии можно опустить.

  • Соблюдайте гайд по стилю оформления кода и/или используйте автоформатирование RStudio (ctr+shift+A на выделенном коде для Win/*nix). Отсутствие комментариев, неопрятность и/или нечитаемость кода, несоблюдение конвенций гайда по стилю - на все это я буду обращать внимание и, в случае существенных помарок, снижать оценку. Для пишущих на Python – можете следовать этому же гайду, или PEP8, или любому другому стилю форматирования. Главное, чтобы было аккуратно и прозрачно.

  • Выполняйте задание самостоятельно. Если у меня возникнут затруднения в объективной оценке, то договоримся о созвоне и я попрошу прокомментировать то или иное решение, или же дам небольшое задание из аналогичных, чтобы сравнить стиль решения и рассуждений.

  • Если при выполнении задания все же возникнут какие-то вопросы - можете спросить меня (все вопросы в телеграме - либо в личке, либо в канале #discussion). Не гарантирую, что отвечу максимально подробно, но дать минимальную подсказку или прояснить неясность задания постараюсь.


Задание 1

Вы только что устроились в компанию продуктовым аналитиком / исследователем. Вам для погружения дали отчет по А/В-тесту онбординга — фича, которой очень гордится продакт и которая уже реализована в продукте (онбординг — небольшое введение при первом запуске, в котором пользователю демонстрируется ключевой функционал приложения). Судя по отчету, пользователи версии, в которой был онбординг, на 2% лучше возвращаются на следующий день после установки приложения (retention day 1 = 61% в версии без онбординга и 63% в версии с онбордингом). Всего в тесте участвовало 7 тысяч пользователей, поровну в тестовой и контрольной группах.

Можно ли доверять этому отчету? Почему? Дадите какие-нибудь рекомендации команде разработки и продакт-менеджеру?


Задание 2

Взято из тестовых заданий Авиасейлз.

Был проведен A/B-тест. В качестве данных используйте таблицу. Первая сессия юзера считается моментом попадания в A/B-тест.

Описание данных:

  • user_id - id юзера
  • ab_group - группа A/B-теста,
  • start_ts - время старта сессии,
  • end_ts - время окончания сессии,
  • pdate - дата сессии.

Ключевая метрика эксперимента - конверсия во вторую сессию. Сделайте вывод о том, какая группа выиграла в A/B-тесте. Ответ обоснуйте.

Для экстремалов: исходное задание предполагает еще подготовку данных из сырой таблицы, где надо выделить сессии. Если хотите попробовать себя, подготовьте сами датасет. Однако имейте в виду, что на оценку это не повлияет.

Описание данных:

  • user_id - id юзера
  • ab_group - группа A/B-теста,
  • ts - время совершения действия,
  • pdate - дата совершения действия.

Задание 3

Вы провели A/B-тест, данные по проведенному тесту вот здесь: пользователи и логи заходов в приложение. Так получилось, что одновременно в версии тестировались онбординг (надо ли делать или нет) и новый дизайн стартового окна приложения. Оба изменения, по предположениям продакт-менеджеров, должны повысить удержание пользователей. Проанализируйте результаты теста и дайте рекомендации команде разработки и продакт-менеджерам.


Задание 4

К вам пришел продакт-менеджер с идеей “я хочу сделать для пользователей MS Office темную тему (был запрос в коммьюнити), но сразу всем пользователям давать ее боязно”. Подумайте и предложите план А/B-теста: метрики, гипотезы, риски, критерии оценивания и прочее, что можно сделать до этапа анализа данных. Постарайтесь представить ответ в виде структурированного плана исследования.