- Оценка влияния изменения функции потерь в глубоком обучении для классификации(arXiv)
Автор:Саймон Дрэгер, Янник Дункелау
Аннотация:Функция потерь, возможно, является одним из наиболее важных гиперпараметров для нейронной сети. На сегодняшний день разработано множество функций потерь, что делает правильный выбор нетривиальным. Однако подробные обоснования выбора функции потерь в смежных работах не приводятся. Это, как мы видим, свидетельствует о догматическом мышлении в сообществе глубокого обучения, которому не хватает эмпирической основы. В этой работе мы рассматриваем глубокие нейронные сети в условиях контролируемой классификации и анализируем влияние выбора функции потерь на результат обучения. В то время как некоторые функции потерь работают неоптимально, наша работа эмпирически показывает, что недопредставленные потери, такие как расхождение KL, могут значительно превзойти современные варианты, подчеркивая необходимость включения функции потерь в качестве настроенного гиперпараметра, а не фиксированного выбор
2.TILDE-Q: инвариантная к трансформации функция потерь для прогнозирования временных рядов(arXiv)
Автор: Хёнвук Ли, Чунги Ли, Хонгю Лим, Сонган Ко
Аннотация. Прогнозирование временных рядов привлекает все большее внимание в области исследований ИИ из-за его важности для решения реальных проблем в различных областях, таких как энергетика, погода, дорожное движение и экономика. Как показано на различных типах данных, необходимо было разобраться с резкими изменениями, временными паттернами и формами в последовательных данных, которые предыдущие модели плохо предсказывали. Это связано с тем, что в большинстве случаев прогнозирование временных рядов направлено на минимизацию нормальных расстояний Lp в качестве функций потерь, таких как средняя абсолютная ошибка (MAE) или среднеквадратическая ошибка (MSE). Эти функции потерь уязвимы не только для моделирования временной динамики, но и для захвата формы сигналов. Кроме того, эти функции часто приводят к неправильному поведению моделей и возвращают некоррелированные результаты с исходным временным рядом. Чтобы стать эффективной функцией потерь, она должна быть инвариантной к набору искажений между двумя данными временного ряда, а не просто сравнивать точные значения. В этой статье мы предлагаем новую функцию потерь, называемую TILDE-Q (функция потерь, инвариантная к преобразованию, с равновесием расстояния), которая не только учитывает искажения амплитуды и фазы, но также позволяет модели фиксировать форму последовательностей временных рядов. Кроме того, TILDE-Q поддерживает одновременное моделирование периодической и непериодической временной динамики. Мы оцениваем эффективность TILDE-Q, проводя обширные эксперименты в отношении периодических и непериодических условий данных, от наивных моделей до современных моделей. Результаты эксперимента показывают, что модели, обученные с помощью TILDE-Q, превосходят модели, обученные с другими показателями обучения (например, MSE, динамической деформацией времени (DTW), индексом временного искажения (TDI) и самой длинной общей подпоследовательностью (LCSS)).
3.Коррекция движения в МРТ с использованием глубокого обучения и новой гибридной функции потерь(arXiv)
Автор: Лей Чжан, Сяоке Ван, Майкл Роусон, Раду Балан, Эдвард Х. Херсковиц, Элиас Мельхем, Линда Чанг, Зе Ван , Томас Эрнст
Аннотация:Цель Разработать и оценить основанный на глубоком обучении метод (MC-Net) для подавления артефактов движения при магнитно-резонансной томографии головного мозга (МРТ). Методы MC-Net была получена из UNet в сочетании с двухэтапной функцией множественных потерь. Для обучения сети использовались Т1-взвешенные аксиальные изображения мозга, загрязненные синтетическими движениями. Для оценки использовались смоделированные аксиальные, коронарные и сагиттальные изображения, взвешенные по Т1 и Т2, невидимые во время обучения, а также изображения, взвешенные по Т1, с артефактами движения при реальном сканировании. Показатели производительности включали отношение пикового сигнала к шуму (PSNR), индекс структурного сходства (SSIM) и оценки визуального чтения. Два клинических считывателя оценивали изображения. Результаты MC-Net превзошла другие методы, реализованные с точки зрения PSNR и SSIM на осевом испытательном наборе T1. MC-Net значительно улучшила качество всех изображений, взвешенных по Т1 (для всех направлений и для смоделированных, а также реальных артефактов движения), как по количественным показателям, так и по визуальным показателям. Однако MC-Net плохо работал на необученных контрастных изображениях (T2-взвешенных). Заключение Предлагаемая двухступенчатая MC-Net с множественными потерями может эффективно подавлять артефакты движения в МРТ головного мозга без ущерба для контекста изображения. Учитывая эффективность MC-Net (время обработки одного изображения ~40 мс), его потенциально можно использовать в реальных клинических условиях. Для облегчения дальнейших исследований код и обученная модель доступны по адресу https://github.com/MRIMoCo/DL_Motion_Correction.
