- Обнаружение дипфейков с помощью глубокого обучения: сверточные нейронные сети против трансформеров (arXiv)
Автор : Вризлин Л. Л. Вещь
Аннотация: Стремительное развитие технологий создания дипфейков серьезно угрожает достоверности медиаинформации. Последствия, затрагивающие целевых лиц и учреждения, могут быть ужасными. В этой работе мы изучаем эволюцию архитектур глубокого обучения, в частности CNN и Transformers. Мы определили восемь многообещающих архитектур глубокого обучения, спроектировали и разработали наши модели обнаружения дипфейков и провели эксперименты с хорошо зарекомендовавшими себя наборами данных дипфейков. Эти наборы данных включали в себя последние наборы данных дипфейков второго и третьего поколения. Мы оценили эффективность разработанных нами детекторов одной модели при обнаружении дипфейков и оценке перекрестных наборов данных. Мы достигли 88,74%, 99,53%, 97,68%, 99,73% и 92,02% точности и 99,95%, 100%, 99,88%, 99,99% и 97,61% AUC при обнаружении FF++ 2020, Google DFD, Celeb-DF, Deeper Forensics. и дипфейки DFDC соответственно. Мы также определили и продемонстрировали уникальные сильные стороны моделей CNN и Transformers и проанализировали наблюдаемые взаимосвязи между различными наборами дипфейковых данных, чтобы помочь будущим разработкам в этой области.
2. Сверточные нейронные сети для обнаружения трещин на нежестких дорожных покрытиях (arXiv)
Автор: Герман Тапамо, Анна Босман, Джеймс Майна, Эмиль Хорак.
Аннотация: Гибкие дорожные покрытия изнашиваются в первую очередь из-за движения транспорта и неблагоприятных условий окружающей среды. Растрескивание является наиболее распространенным механизмом износа; их съемка обычно проводится вручную с использованием установленных на международном уровне стандартов классификации. В Южной Африке введено использование видеоизображения высокой четкости, что позволяет более безопасно проводить съемку дорог. Тем не менее, съемка по-прежнему является утомительным ручным процессом. Автоматизация обнаружения дефектов, таких как трещины, позволит быстрее анализировать дорожную сеть и потенциально уменьшит предвзятость и ошибки, связанные с человеческим фактором. В этом исследовании проводится сравнение шести современных моделей сверточных нейронных сетей с целью обнаружения трещин. Модели предварительно обучаются на наборе данных ImageNet и настраиваются с использованием нового реального набора данных бинарных трещин, состоящего из 14000 образцов. Эффекты увеличения набора данных также исследуются. Из шести обученных моделей пять достигли точности выше 97%. Самая высокая зарегистрированная точность составила 98%, достигнутая моделями ResNet и VGG16. Набор данных доступен по следующему URL-адресу: https://zenodo.org/record/7795975.
