Козак Вус та A/B тестування#489

Козак Вус та A/B тестування

Easy

Технологічна імперія «Kozak Valley», заснована Козаком Вусом, стрімко зростає. Їхній новітній продукт — розумний чат-бот для підтримки клієнтів — щодня обробляє мільйони запитів.

Щоб залишатися лідерами ринку, команда Вуса постійно вдосконалює бота. Але як дізнатися, чи нове оновлення справді корисне? Козак вирішив запровадити методику A/B тестування.

Суть проста: коли компанія тестує нову функціональність (фічу), вона ділить користувачів на дві групи:

Головним показником успіху (KPI) для Козака є RESOLUTION_RATE — відсоток запитів, які бот вирішив самостійно, без залучення живого оператора.

Козак Вус надав вам логи роботи системи (файли з даними) і просить провести аналітику. У нього є три різні запити (підзадачі), які вимагають різних розрахунків.

Input

Учасникам надано архів input.zip, який містить дані для аналізу:

1. Файл contacts.csv — інформація про участь контактів у експериментах. Стовпці:

  • id — унікальний ідентифікатор контакту (користувача).

  • feature_flag — назва експериментальної фічі.

  • group — група, в яку потрапив користувач (experimental або control).

2. Файл resolutions.csv — результати діалогів. Стовпці:

  • id — ідентифікатор контакту (відповідає id з contacts.csv).

  • is_resolved — статус вирішення проблеми ( — бот вирішив проблему, — знадобився оператор).

Output

Для здачі роботи учасник повинен підготувати файли у форматі CSV (роздільник — кома).

Механізм перевірки: У системі передбачено три окремі поля для завантаження файлів, кожне з яких відповідає окремій підзадачі. Ви не зобов'язані завантажувчати файли у всі три поля одночасно. Ви можете вирішити та здати будь-яку кількість підзадач (одну, дві або три) у будь-якому порядку. Оцінювання кожної підзадачі відбувається незалежно.

Вимоги до вмісту файлів

Підзадача 1 (10 балів):

Вивести список усіх унікальних назв експериментів.

  • Файл має містити один стовпець: feature_flag.

  • Рядки повинні бути посортовані лексикографічно (за алфавітом) за стовпцем feature_flag.

Підзадача 2 (30 балів):

Для кожного експерименту порахувати частку користувачів у експериментальній групі.

  • Файл має містити два стовпці: feature_flag, experiment_share.

  • experiment_share обчислюється як: \frac{\text{кількість контактів у group='experimental'}}{\text{загальна кількість контактів у цьому feature\_flag}}.

  • Рядки повинні бути посортовані лексикографічно (за алфавітом) за стовпцем feature_flag.

  • Важливо: Усі числові значення мають бути округлені до 3-х знаків після коми (тисячних) і мати рівно три цифри у дробовій частині (наприклад, 0.500, 0.000, 0.123).

Підзадача 3 (60 балів):

Для кожного експерименту порахувати resolution_rate окремо для двох груп.

  • Файл має містити три стовпці: feature_flag, control, experimental.

  • Значення обчислюється як середнє арифметичне стовпця is_resolved для відповідної групи.

  • Рядки повинні бути посортовані лексикографічно (за алфавітом) за стовпцем feature_flag.

  • Важливо: Усі числові значення мають бути округлені до 3-х знаків після коми (тисячних) і мати рівно три цифри у дробовій частині (наприклад, 0.500, 0.000, 0.123).

Examples

Припустимо, вміст вхідних файлів наступний:

contacts.csv:

id,feature_flag,group
1,dark_mode,experimental
2,dark_mode,control
3,new_ai_model,experimental
4,new_ai_model,control

resolutions.csv:

id,is_resolved
1,True
2,False
3,True
4,False

Приклад правильного submission.csv для Підзадачі 1:

feature_flag
dark_mode
new_ai_model

Приклад правильного submission.csv для Підзадачі 2:

feature_flag,experiment_share
dark_mode,0.500
new_ai_model,0.500

Пояснення: У обох фіч рівно половина користувачів (1 з 2) потрапила в experimental. 0.5 форматується як 0.500.

Приклад правильного submission.csv для Підзадачі 3:

feature_flag,control,experimental
dark_mode,0.000,1.000
new_ai_model,0.000,1.000

Пояснення для dark_mode: Control (id 2) -> False. Experimental (id 1) -> True. (Для new_ai_model розрахунок аналогічний: id 4 (Control) -> False, id 3 (Experimental) -> True). Значення форматуються з 3 знаками після коми.

Note

  • Гарантується, що вхідні файли мають коректний формат.

  • Лексикографічне сортування є обов'язковим.

  • Дотримання формату чисел (3 знаки після коми) є обов'язковим для підзадач 2 та 3.