Как работает глубокое трансферное обучение?
- DeepEmotex: классификация эмоций в текстовых сообщениях с использованием глубокого обучения(arXiv)
Автор: Марьям Хасан, Эльке Рунденштейнер, Эммануэль Агу
Аннотация :: трансферное обучение широко используется в обработке естественного языка с помощью предварительно обученных языковых моделей, таких как представления двунаправленного кодировщика от трансформеров и универсального кодировщика предложений. Несмотря на большой успех, языковые модели переобучаются при применении к небольшим наборам данных и склонны к забыванию при точной настройке с помощью классификатора. Чтобы решить эту проблему забывания при переносе глубоко предварительно обученных языковых моделей из одного домена в другой, существующие усилия исследуют методы точной настройки, чтобы меньше забывать. Мы предлагаем DeepEmotex эффективный метод обучения с последовательным переносом для обнаружения эмоций в тексте. Чтобы не забыть о проблеме, на этапе точной настройки используется большой объем данных с пометками эмоций, собранных из Twitter. Мы проводим экспериментальное исследование, используя как тщательно отобранные наборы данных Twitter, так и наборы эталонных данных. Модели DeepEmotex достигают точности более 91% для многоклассовой классификации эмоций в тестовом наборе данных. Мы оцениваем производительность точно настроенных моделей DeepEmotex при классификации эмоций в наборах тестовых данных EmoInt и Stimulus. Модели правильно классифицируют эмоции в 73% случаев в тестовых наборах данных. Предлагаемая модель DeepEmotex-BERT превосходит результат Bi-LSTM на эталонных наборах данных на 23%. Мы также изучаем влияние размера набора данных тонкой настройки на точность наших моделей. Результаты нашей оценки показывают, что точная настройка с использованием большого набора данных, помеченных эмоциями, повышает как надежность, так и эффективность итоговой модели целевой задачи.
2. Границы обобщения для глубокого трансферного обучения с использованием точности предиктора большинства (arXiv)
Автор: Куонг Н. Нгуен, Лам Си Тунг Хо, Ву Динь, Тал Хасснер, Куонг В. Нгуен
Аннотация: мы анализируем новые границы обобщения для моделей глубокого обучения, обученных путем переноса обучения из источника в целевую задачу. В наших границах используется величина, называемая точностью мажоритарного предиктора, которую можно эффективно вычислить на основе данных. Мы показываем, что наша теория полезна на практике, поскольку она подразумевает, что точность большинства предикторов может использоваться в качестве меры переносимости, что также подтверждается нашими экспериментами.
3.Обнаружение аномалий в системах автоматического управления генерацией на основе анализа моделей трафика и глубокого обучения передаче (arXiv)
Автор:Тохид Бехдадния, Геерт Деконинк
Аннотация: В современных сильно взаимосвязанных электрических сетях автоматическое управление генерацией (АРУ) имеет решающее значение для поддержания стабильности электрической сети. Зависимость системы AGC от системы информационных и коммуникационных технологий (ИКТ) делает ее уязвимой для различных типов кибератак. Таким образом, анализ информационных потоков (IF) и обнаружение аномалий стали первостепенными для предотвращения того, чтобы кибер-злоумышленники приводили кибер-физическую систему питания (CPPS) к нестабильности. В этой статье исследуются правила сетевого трафика ИКТ в CPPS и извлекаются особенности частотной области сетевого трафика ИКТ, в основном для разработки надежного алгоритма обучения, который может изучать нормальный шаблон трафика на основе сверточной нейронной сети ResNeSt (CNN). . Кроме того, чтобы преодолеть проблему недостаточного количества помеченных образцов аномального трафика, используется подход трансферного обучения. В предлагаемом методе, основанном на данных, модель глубокого обучения обучается с помощью характеристик частоты трафика, что делает нашу модель устойчивой к неопределенностям параметров AGC и нелинейностям моделирования.
