- Обучение экспрессивным подсказкам с остатками для Vision Transformers (arXiv)
Автор: Раджшекхар Дас, Йонатан Дуклер, Авинаш Равичандран, Ашвин Сваминатан.
Аннотация: Быстрое обучение — это эффективный подход к адаптации преобразователей путем вставки обучаемого набора параметров во входные и промежуточные представления предварительно обученной модели. В этой работе мы представляем экспрессивные подсказки с остатками (EXPRES), которые изменяют парадигму быстрого обучения специально для эффективной адаптации преобразователей зрения (ViT). Метод Out строит нисходящие представления с помощью обучаемых «выходных» токенов, которые аналогичны токенам изученного класса ViT. Кроме того, для лучшего управления нисходящим представлением, обрабатываемым замороженным преобразователем, мы вводим остаточные обучаемые токены, которые добавляются к выходным данным различных вычислений. Мы применяем EXPRES для классификации изображений, обучения по нескольким кадрам и семантической сегментации и показываем, что наш метод способен обеспечить современную быструю настройку по 3/3 категориям эталонного теста VTAB. Помимо высокой производительности, мы заметили, что наш подход на порядок более эффективен, чем существующие базовые модели визуальных подсказок. Мы аналитически показываем вычислительные преимущества нашего подхода по сравнению с такими методами адаптации весового пространства, как тонкая настройка. Наконец, мы систематически подтверждаем архитектурный дизайн нашего метода с помощью серии экспериментов по абляции.
2. (архив)
Автор:
Абстрактный :
