1. Обучение надежных глубоких моделей для области временных рядов: новые алгоритмы и теоретический анализ (arXiv)
Автор:Таха Белкхуджа, Ян Ян, Джанардхан Рао Доппа
Аннотация. Несмотря на успех глубоких нейронных сетей (DNN) в реальных приложениях с данными временных рядов, таких как мобильное здоровье, мало что известно о том, как обучать надежные DNN для домена временных рядов из-за его уникальные характеристики по сравнению с изображениями и текстовыми данными. В этой статье мы предлагаем новую алгоритмическую структуру, называемую RObust Training for Time-Series (RO-TS), для создания надежных DNN для задач классификации временных рядов. В частности, мы формулируем задачу оптимизации минимум-максимум по параметрам модели, явно рассуждая о критериях устойчивости с точки зрения аддитивных возмущений к входным данным временных рядов, измеренных расстоянием на основе ядра глобального выравнивания (GAK). Мы также показываем общность и преимущества нашей формулировки с использованием структуры суммирования по сравнению с выравниванием временных рядов, связывая как GAK, так и динамическое искажение времени (DTW). Эта проблема является примером семейства композиционных задач оптимизации минимума и максимума, которые являются сложными и открытыми с неясной теоретической гарантией. Мы предлагаем принципиальный алгоритм стохастического композиционного подъема с переменным градиентным спуском (SCAGDA) для этого семейства задач оптимизации. В отличие от традиционных методов для временных рядов, которые требуют приблизительного вычисления мер расстояния, SCAGDA аппроксимирует расстояние на основе GAK на лету, используя метод скользящего среднего. Мы теоретически анализируем скорость сходимости SCAGDA и предоставляем сильную теоретическую поддержку для оценки расстояния на основе GAK. Наши эксперименты с реальными тестами показывают, что RO-TS создает более надежные DNN по сравнению с состязательным обучением с использованием предыдущих методов, основанных на дополнении данных или новых определениях функций потерь. Мы также демонстрируем важность GAK для данных временных рядов на евклидовом расстоянии. Исходный код алгоритмов RO-TS доступен по адресу https://github.com/tahabelkhouja/Robust-Training-for-Time-Series.
2.TimesNet: Моделирование временных 2D-вариаций для общего анализа временных рядов (arXiv)
Автор: Хайсю Ву, Тэнгэ Ху, Юн Лю, Хан Чжоу, Цзяньминь Ван, Миншэн Лун
Аннотация. Анализ временных рядов имеет огромное значение в обширных приложениях, таких как прогнозирование погоды, обнаружение аномалий и распознавание действий. В этой статье основное внимание уделяется моделированию временных вариаций, что является общей ключевой проблемой задач расширенного анализа. Предыдущие методы пытались выполнить это непосредственно из одномерных временных рядов, что чрезвычайно сложно из-за сложных временных закономерностей. Основываясь на наблюдении за многопериодичностью временных рядов, мы разделяем сложные временные вариации на множественные внутрипериодные и межпериодные вариации. Чтобы устранить ограничения одномерных временных рядов в возможностях представления, мы расширяем анализ временных вариаций на двумерное пространство, преобразуя одномерные временные ряды в набор двумерных тензоров, основанных на нескольких периодах. Это преобразование может включать внутрипериодные и межпериодные вариации в столбцы и строки двумерных тензоров соответственно, что позволяет легко моделировать двумерные вариации с помощью двумерных ядер. Технически мы предлагаем TimesNet с TimesBlock в качестве общей основы для анализа временных рядов. TimesBlock может адаптивно обнаруживать мультипериодичность и извлекать сложные временные вариации из преобразованных двумерных тензоров с помощью начального блока с эффективными параметрами. Предлагаемый нами TimesNet обеспечивает постоянное соответствие современным требованиям в пяти основных задачах анализа временных рядов, включая краткосрочное и долгосрочное прогнозирование, импутацию, классификацию и обнаружение аномалий.
3. Использование обработки близких данных для ускорения анализа временных рядов (arXiv)
Автор: Иван Фернандес, Рикардо Квислант, Кристина Джаннуля, Мохаммед Альсер, Хуан Гомес-Луна, Эладио Гутьеррес, Оскар Плата, Онур Мутлу.
Аннотация . Анализ временных рядов — это ключевой метод извлечения и прогнозирования событий в таких разных областях, как эпидемиология, геномика, неврология, науки об окружающей среде, экономика и т. д. Профиль матрицы, современный алгоритм для выполнения анализа временных рядов, вычисляет наиболее похожую подпоследовательность для заданной подпоследовательности запроса в пределах временного ряда среза. Профиль матрицы имеет низкую арифметическую интенсивность, но обычно работает с большими объемами данных временных рядов. В современных вычислительных системах эти данные необходимо перемещать между внешними блоками памяти и встроенными вычислительными блоками для выполнения матричного профиля. Это приводит к серьезным проблемам с производительностью, поскольку перемещение данных чрезвычайно затратно как с точки зрения времени выполнения, так и с точки зрения энергии. В этой работе мы представляем NATSA, первый ускоритель обработки почти данных для анализа временных рядов. Основная идея состоит в том, чтобы использовать современную трехмерную память с высокой пропускной способностью (HBM), чтобы обеспечить эффективное и быстрое специализированное вычисление матричного профиля рядом с памятью, где хранятся данные временных рядов. NATSA обеспечивает три ключевых преимущества: 1) быстрое вычисление матричного профиля для широкого спектра приложений за счет создания специализированных энергоэффективных арифметических процессоров с плавающей запятой, близких к HBM, 2) повышение энергоэффективности и времени выполнения за счет уменьшения потребности в данных. перемещение по медленным и энергоемким шинам между вычислительными блоками и блоками памяти и 3) анализ данных временных рядов в масштабе с использованием доступа к памяти с малой задержкой, высокой пропускной способностью и энергоэффективным доступом, обеспечиваемым HBM. Наша экспериментальная оценка показывает, что NATSA повышает производительность до 14,2x (в среднем 9,9x) и снижает энергопотребление до 27,2x (в среднем 19,4x) по сравнению с современной многоядерной реализацией. NATSA также повышает производительность в 6,3 раза и снижает энергопотребление в 10,2 раза по сравнению с платформой NDP общего назначения с 64 ядрами в порядке очереди.
