- FECAM: механизм внимания канала с улучшенной частотой для прогнозирования временных рядов (arXiv)
Автор: Маовэй Цзян, Пэнъюй Цзэн, Кай Ван, Хуань Лю, Вэньбо Чен, Хаоран Лю.
Аннотация: Прогнозирование временных рядов является давней проблемой из-за того, что реальная информация представлена в различных сценариях (например, энергия, погода, трафик, экономика, предупреждение о землетрясениях). Однако результаты прогнозирования некоторых основных моделей прогнозирования резко отклоняются от истины. Мы считаем, что это причина того, что модели не хватает возможности захвата частотной информации, которая содержится в большом количестве в наборах данных реального мира. В настоящее время основные методы извлечения информации о частоте основаны на преобразовании Фурье (FT). Однако использование FT проблематично из-за феномена Гиббса. Если значения на обеих сторонах последовательностей значительно различаются, вокруг обеих сторон наблюдаются колебательные приближения, и будет введен высокочастотный шум. Поэтому мы предлагаем новое внимание к каналу с улучшенной частотой, которое адаптивно моделирует частотные взаимозависимости между каналами на основе дискретного косинусного преобразования, что позволяет избежать высокочастотного шума, вызванного проблематичной периодичностью во время преобразования Фурье, которое определяется как феномен Гиббса. Мы показываем, что эта сеть чрезвычайно эффективно обобщает шесть реальных наборов данных и достигает самой современной производительности. Мы также демонстрируем, что модуль механизма внимания канала с улучшенной частотой может гибко применяться к различным сетям. Этот модуль может улучшить способность прогнозирования существующих основных сетей, что снижает MSE на 35,99% для LSTM, 10,01% для Reformer, 8,71% для Informer, 8,29% для Autoformer, 8,06% для Transformer и т. д. при небольших вычислительных затратах, с всего несколько строк кода. Наши коды и данные доступны по адресу https://github.com/Zero-coder/FECAM.
2. (архив)
Автор:
Абстрактный :
