- Обнаружение границ общего события в видео с функциями пирамиды (arXiv)
Автор: Ван Тонг Хюнь, Хён-Джон Ян, Гуи-Сан Ли, Су-Хён Ким.
Аннотация: Общее обнаружение границ событий (GEBD) направлено на разделение видео на фрагменты с широким и разнообразным набором действий, поскольку люди естественным образом воспринимают границы событий. В этом исследовании мы представляем подход, который рассматривает корреляцию между соседними кадрами с картами признаков пирамиды как в пространственном, так и во временном измерении, чтобы построить основу для локализации общих событий в видео. Функции в нескольких пространственных измерениях предварительно обученной ResNet-50 используются с различными представлениями во временном измерении для формирования карты характеристик временной пирамиды. На основе этого сходство между соседними кадрами вычисляется и проецируется для построения вектора признаков подобия временной пирамиды. Декодер с одномерными операциями свертки используется для декодирования этих сходств в новое представление, которое включает их временные отношения для последующей оценки граничных оценок. Обширные эксперименты, проведенные с эталонным набором данных GEBD, показывают эффективность нашей системы и ее вариаций, в которых мы превзошли самые современные подходы. Дополнительные эксперименты с набором данных TAPOS, который содержит длинные видеоролики с олимпийскими видами спорта, продемонстрировали эффективность нашего исследования по сравнению с другими.
2. Самоконтроль с учетом движения для обнаружения границ общего события (arXiv)
Автор: Аюш К. Рай, Тарун Кришна, Джулия Дитлмайер, Кевин МакГиннесс, Алан Ф. Смитон, Ноэль Э. О’Коннор.
Аннотация: Задача Обнаружения границ общих событий (GEBD) направлена на обнаружение моментов в видео, которые естественным образом воспринимаются людьми как общие и свободные от таксономии границы событий. Моделирование динамически развивающихся временных и пространственных изменений в видео делает GEBD трудной задачей для решения. Существующие подходы включают в себя очень сложные и сложные конвейеры с точки зрения выбора архитектурного дизайна, что создает потребность в более простых и упрощенных подходах. В этой работе мы решаем эту проблему, пересматривая простой и эффективный метод самоконтроля и дополняя его модулем обучения дифференцируемым функциям движения, чтобы справиться с пространственным и временным разнообразием в задаче GEBD. Мы проводим обширные эксперименты со сложными наборами данных Kinetics-GEBD и TAPOS, чтобы продемонстрировать эффективность предлагаемого подхода по сравнению с другими современными методами с самоконтролем. Мы также показываем, что этот простой подход с самоконтролем изучает особенности движения без какой-либо явной предтекстовой задачи, связанной с движением.
