Технологічна імперія «Kozak Valley», заснована Козаком Вусом, стрімко зростає. Їхній новітній продукт — розумний чат-бот для підтримки клієнтів — щодня обробляє мільйони запитів.
Щоб залишатися лідерами ринку, команда Вуса постійно вдосконалює бота. Але як дізнатися, чи нове оновлення справді корисне? Козак вирішив запровадити методику A/B тестування.
Суть проста: коли компанія тестує нову функціональність (фічу), вона ділить користувачів на дві групи:
Experimental (Експериментальна група) — користувачі, у яких увімкнена нова фіча.
Control (Контрольна група) — користувачі, у яких фіча вимкнена (працює стара версія).
Головним показником успіху (KPI) для Козака є RESOLUTION_RATE — відсоток запитів, які бот вирішив самостійно, без залучення живого оператора.
Козак Вус надав вам логи роботи системи (файли з даними) і просить провести аналітику. У нього є три різні запити (підзадачі), які вимагають різних розрахунків.
Учасникам надано архів input.zip, який містить дані для аналізу:
1. Файл contacts.csv — інформація про участь контактів у експериментах. Стовпці:
id — унікальний ідентифікатор контакту (користувача).
feature_flag — назва експериментальної фічі.
group — група, в яку потрапив користувач (experimental або control).
2. Файл resolutions.csv — результати діалогів. Стовпці:
id — ідентифікатор контакту (відповідає id з contacts.csv).
is_resolved — статус вирішення проблеми ( — бот вирішив проблему, — знадобився оператор).
Для здачі роботи учасник повинен підготувати файли у форматі CSV (роздільник — кома).
Механізм перевірки: У системі передбачено три окремі поля для завантаження файлів, кожне з яких відповідає окремій підзадачі. Ви не зобов'язані завантажувчати файли у всі три поля одночасно. Ви можете вирішити та здати будь-яку кількість підзадач (одну, дві або три) у будь-якому порядку. Оцінювання кожної підзадачі відбувається незалежно.
Вимоги до вмісту файлів
Підзадача 1 (10 балів):
Вивести список усіх унікальних назв експериментів.
Файл має містити один стовпець: feature_flag.
Рядки повинні бути посортовані лексикографічно (за алфавітом) за стовпцем feature_flag.
Підзадача 2 (30 балів):
Для кожного експерименту порахувати частку користувачів у експериментальній групі.
Файл має містити два стовпці: feature_flag, experiment_share.
experiment_share обчислюється як: \frac{\text{кількість контактів у group='experimental'}}{\text{загальна кількість контактів у цьому feature\_flag}}.
Рядки повинні бути посортовані лексикографічно (за алфавітом) за стовпцем feature_flag.
Важливо: Усі числові значення мають бути округлені до 3-х знаків після коми (тисячних) і мати рівно три цифри у дробовій частині (наприклад, 0.500, 0.000, 0.123).
Підзадача 3 (60 балів):
Для кожного експерименту порахувати resolution_rate окремо для двох груп.
Файл має містити три стовпці: feature_flag, control, experimental.
Значення обчислюється як середнє арифметичне стовпця is_resolved для відповідної групи.
Рядки повинні бути посортовані лексикографічно (за алфавітом) за стовпцем feature_flag.
Важливо: Усі числові значення мають бути округлені до 3-х знаків після коми (тисячних) і мати рівно три цифри у дробовій частині (наприклад, 0.500, 0.000, 0.123).
Припустимо, вміст вхідних файлів наступний:
contacts.csv:
id,feature_flag,group
1,dark_mode,experimental
2,dark_mode,control
3,new_ai_model,experimental
4,new_ai_model,controlresolutions.csv:
id,is_resolved
1,True
2,False
3,True
4,FalseПриклад правильного submission.csv для Підзадачі 1:
feature_flag
dark_mode
new_ai_modelПриклад правильного submission.csv для Підзадачі 2:
feature_flag,experiment_share
dark_mode,0.500
new_ai_model,0.500Пояснення: У обох фіч рівно половина користувачів (1 з 2) потрапила в experimental. 0.5 форматується як 0.500.
Приклад правильного submission.csv для Підзадачі 3:
feature_flag,control,experimental
dark_mode,0.000,1.000
new_ai_model,0.000,1.000Пояснення для dark_mode: Control (id 2) -> False. Experimental (id 1) -> True. (Для new_ai_model розрахунок аналогічний: id 4 (Control) -> False, id 3 (Experimental) -> True). Значення форматуються з 3 знаками після коми.
Гарантується, що вхідні файли мають коректний формат.
Лексикографічне сортування є обов'язковим.
Дотримання формату чисел (3 знаки після коми) є обов'язковим для підзадач 2 та 3.