Козак Вус та балакучий чатбот#488

Козак Вус та балакучий чатбот

Складна

Козак Вус, йдучи в ногу з часом, нещодавно вирішив опанувати нові технології та створив власного чатбота. Він мріяв, що цей штучний інтелект допомагатиме йому швидко знаходити відповіді на будь-які питання, пов'язані з історією та козацькими традиціями.

Однак, під час тестування Козак помітив прикру проблему: його чатбот страждає на «галюцинації». Навіть коли Вус задає питання, на яке в наданому тексті немає відповіді, бот все одно впевнено щось вигадує і надає хибну інформацію.

Козак Вус вирішив виправити це і зібрав велику базу даних із запитаннями та текстами (контекстами). Але тут сталася ще одна халепа! Прямо перед тим, як передати дані вам, на комп'ютері Козака стався збій. Через це до справжнього контексту кожного питання додалося від 0 до 3 випадкових уривків тексту, які зовсім не стосуються теми.

Тепер ваша місія — допомогти Козаку Вусу! Вам потрібно створити модель, яка, незважаючи на змішані тексти, зможе визначити: чи міститься відповідь на запитання у цьому «зашумленому» контексті, чи ні.

Важлива примітка: Для розв'язання цієї задачі дозволено використовувати попередньо треновану модель bert-base-uncased з бібліотеки HuggingFace. Використання будь-яких інших пре-тренованих моделей (наприклад, RoBERTa, DeBERTa, BERT-Large тощо) суворо заборонено!

Вхідні дані

Учасникам надано архів input.zip. Структура архіву наступна:

  • Файл train.csv — містить тренувальні дані з наступними колонками:

    • id — унікальний ідентифікатор запису.

    • context — текст, у якому може міститися відповідь (містить оригінальний контекст + шум).

    • question — запитання до тексту.

    • label — мітка (, якщо на питання можна відповісти, використовуючи контекст, та , якщо ні).

  • Файл test.csv — містить тестові дані (колонки id, context, question).

  • Файл sample_submission.csv — приклад файлу вихідних даних у правильному форматі.

Вихідні дані

Учасник повинен подати один файл submission.csv, який містить колонку label.

  • label — ваша відповідь: , якщо на питання можна відповісти, та , якщо відповіді в тексті немає.

Оцінювання

Ваш розв'язок буде оцінюватися за метрикою Balanced Accuracy (). Ця метрика обчислюється як середнє арифметичне повноти (Recall) для класу та класу :

R_0 = \frac{\text{Кількість вірно передбачених } 0}{\text{Загальна кількість } 0}
R_1 = \frac{\text{Кількість вірно передбачених } 1}{\text{Загальна кількість } 1}\\
BA = \frac{R_0 + R_1}{2}

Кількість балів (відсоток від максимальної оцінки) розраховується за такою формулою:

  • Якщо BA < 0.55, то S = 0.

  • Якщо 0.55 \le BA \le 0.75,

    S = \frac{BA - 0.5}{0.2} \times 0.8
  • Якщо 0.75 < BA \le 1.0,

    S = 0.8 + \frac{BA - 0.75}{0.25} \times 0.2