Дослідивши марсіанські гліфи та проаналізувавши геохімічні індекси зразків, команда Козака Вуса нарешті отримала доступ до головного архіву бункеру. Цей архів містить записи послідовностей команд (представлених класами від до c-1) для керування марсіанськими компʼютерами.
Команда хоче навчити ШІ-модель передбачати ці послідовності. Модель для кожного індексу в послідовності видає оцінки (scores або logits) p_{i, j, k} для кожного можливого класу (від до c-1), де це індекс послідовності в батчі, бо модель обраховує результат одразу для декількох послідовностей для більшої ефективності. Щоб ефективно навчати модель, потрібно використовувати метод оцінки помилок, аналогічний тому, що описаний у відновлених марсіанських текстах. Цей комплексний метод оцінки реалізується за допомогою специфічної функції втрат. Ваше завдання — реалізувати цю функцію, 'calculateLoss' яка точно відтворює марсіанський алгоритм оцінки.
Нехай — розмір батчу, — максимальна довжина послідовності, — кількість класів.
Нехай p_{i, j, k} позначає оцінку (logit) визначену моделлю для -го класу, -го елементу, -ої послідовності в батчі. Нехай t_{i, j} позначає істинний клас для -го елементу, -ої послідовності в батчі. Нехай m_{i, j} ( або ) вказує чи є -та позиція валідної в -ій послідовності в батчі, це потрібно щоб мати можливість мати послідовності різної довжини в одному батчі. Нехай y_{i,j} = p_{i,j,t_{i,j}} — логіт істинного класу.
Функція складається з трьох частин:
Позначимо z_{i,j} = \max_{k \ne y_{i,j}} p_{i,j,k} — максимальний логіт неправильного класу. Втрата визначається як:
де m_1 є параметром функції. Зверніть увагу до домноження на маску просто бере значення лише з валідних позицій, а ділення на суму по всім маскам є просто діленням на кількість валідних позицій.
Нехай d^{(1)}_{i,j} = |y_{i,j+1} - y_{i,j}|, тобто модуль різниці логітів істинних класів між сусідніми елементами послідовності.
Втрата визначається як:
де m_2 є параметром функції. Зверніть увагу що домноження на маску має такий самий функціонал як і в першій частині, але тепер потрібно щоб обидва сусідні елементи були валідними.
Нехай d^{(2)}_{i,j} = |y_{i,j+2} - 2y_{i,j+1} + y_{i,j}|.
Втрата визначається як:
де m_3 є параметром функції. Зверніть увагу що домноження на маску має такий самий функціонал як і в першій та другій частинах, але тепер потрібно щоб три сусідні елементи були валідними.
Сумарний результат визначається як:
де \alpha, \beta, \gamma є параметрами функції.
Ця функція втрат заохочує правильне ранжування істинних класів, а також плавність у часі для логітів, що відповідають правильним міткам.
Зверніть увагу, що вам непотрібно зчитувати чи виводити дані. Вам потрібно лише реалізувати цю функцію.
Приклад коду який ви можете використовувати для тестування локально, а також вхідні і вихідні дані прикладу тесту надано у вкладенні 'sample.zip'.
У функцію передається 9 аргументів:
PyTorch тензор 'predictions' розмірності (b, l, c) з оцінками визначеними моделлю.
PyTorch тензор 'targets' розмірності з істинними класами.
PyTorch тензор 'mask' розмірності з булевими значеннями, який каже чи є позиція валідною.
float змінні 'm1', 'm2', 'm3' - параметри m_1, m_2, m_3 з опису функції.
float змінні 'alpha', 'beta', 'gamma' - параметри \alpha, \beta, \gamma з опису функції.
У задачі використовується мульттест. За один тест ваша функція може викликатися до разів на різних вхідних даних.
Гарантується 1 \leq t \leq 100, 1 \leq b \leq 500, 3 \leq l \leq 200, 2 \leq c \leq 100, 0.1 \leq m_1, m_2, m_3 \leq 5, 0 \leq \alpha, \beta, \gamma \leq 1, -10 \leq p_{i, j, k} \leq 10.
Поверніть 0-вимірний тензор, єдиним елементом якого є значення втрати. Нехай ваша відповідь буде рівна , а справжня . Ваша відповідь буде вважатися правильною якщо \left|\frac{a-b}{b}\right| \leq 10^{-6}.
Приклад 1
Підсумковий результат за задачу — це сума максимальних балів, отриманих за кожну підзадачу за всіма вашими спробами (посилками).
(5 балів): b = 1, l \leq 100. У цій підзадачі вхідні тензори не будуть мати виміру батчу. Тобто тензор 'predictions' буде мати розмірність , а тензори 'targets' та 'mask' будуть мати розмірність .
(10 балів): b \leq 10, l \leq 100, c \leq 50, \beta = \gamma = 0.
(15 балів): b \leq 10, l \leq 100, c \leq 50, \gamma = 0.
(15 балів): b \leq 10, l \leq 100, c \leq 50.
(25 балів): t \leq 10, \beta = \gamma = 0.
(20 балів): t \leq 10, \gamma = 0.
(10 балів): t \leq 10.