- Оценка смешанных членств более высокого порядка с помощью границы ℓ2,∞ тензорного возмущения (arXiv)
Автор: Джошуа Агтерберг, Анру Чжан.
Аннотация: Многосторонние данные более высокого порядка повсеместно используются в машинном обучении и статистике и часто демонстрируют структуры, подобные сообществу, где каждый компонент (узел) в каждом отдельном режиме имеет связанное с ним членство в сообществе. В этой статье мы предлагаем тензорную блочную модель со смешанным членством, обобщение тензорной блочной модели, утверждающее, что членство не обязательно должно быть дискретным, а вместо этого представляет собой выпуклые комбинации скрытых сообществ. Мы устанавливаем идентифицируемость нашей модели и предлагаем эффективную в вычислительном отношении процедуру оценки, основанную на алгоритме ортогональной итерации высшего порядка (HOOI) для тензорного SVD, состоящего из симплексного алгоритма поиска углов. Затем мы демонстрируем согласованность нашей процедуры оценки, предоставляя границу ошибки для каждого узла, которая демонстрирует влияние структур более высокого порядка на точность оценки. Чтобы доказать наш результат непротиворечивости, мы разрабатываем оценку возмущения тензора ℓ2,∞ для HOOI в условиях независимого, возможно, гетероскедастического субгауссова шума, который может представлять самостоятельный интерес. В нашем анализе используется новая конструкция исключения одного для итераций, и наши границы зависят только от спектральных свойств лежащего в основе низкорангового тензора при почти оптимальных условиях отношения сигнал/шум, так что тензор SVD выполним в вычислительном отношении. В то время как другие анализы с исключением одного обычно фокусируются на последовательностях, построенных путем анализа выходных данных данного алгоритма с удалением небольшой части шума, наши конструкции анализа с исключением одного используют как предыдущие итерации, так и дополнительную тензорную структуру для устранения потенциальный дополнительный источник ошибок. Наконец, мы применяем нашу методологию к реальным и смоделированным данным, включая приложения к двум наборам полетных данных и набору данных торговой сети, демонстрируя некоторые эффекты, не идентифицируемые из модели с дискретным членством в сообществе.
2. Масштабирование состязательного обучения до больших границ возмущения (arXiv)
Автор: Шраванти Аддепалли, Самьяк Джайн, Гауранг Шрираманан, Р. Венкатеш Бабу
Аннотация: Уязвимость глубоких нейронных сетей к состязательным атакам подстегнула исследования, направленные на создание надежных моделей. В то время как большинство алгоритмов противодействия нацелены на защиту от атак, ограниченных нормой низкой величины Lp, реальные злоумышленники не ограничены такими ограничениями. В этой работе мы стремимся достичь устойчивости к состязательным действиям в более широких пределах, к возмущениям, которые могут быть ощутимы, но не меняют предсказания человека (или Oracle). Наличие изображений, которые переворачивают прогнозы Oracle, и тех, которые не соответствуют, делает этот параметр сложной задачей для защиты от злоумышленников. Мы обсуждаем идеальные цели алгоритма противоборствующей защиты за пределами восприятия, а также подчеркиваем недостатки наивного расширения существующих алгоритмов обучения до более высоких границ возмущения. Чтобы преодолеть эти недостатки, мы предлагаем новую защиту, Oracle-Aligned Adversarial Training (OA-AT), чтобы согласовать прогнозы сети с прогнозами Oracle во время противоборствующего обучения. Предлагаемый подход обеспечивает современную производительность при больших границах эпсилон (например, граница L-inf 16/255 по CIFAR-10), превосходя существующие средства защиты (AWP, TRADES, PGD-AT) при стандартных границах ( 8/255).
