- Выбор клиента для обобщения в ускоренном федеративном обучении: многорукий бандитский подход (arXiv)
Автор: Дан Бен Ами, Коби Коэн, Цин Чжао.
Аннотация: Федеративное обучение (FL) — это новая парадигма машинного обучения (ML), используемая для обучения моделей на нескольких узлах (т. е. клиентах), содержащих локальные наборы данных, без явного обмена данными. В последние годы он вызывает растущий интерес из-за его преимуществ с точки зрения конфиденциальности и коммуникационных ресурсов. В FL выбранные клиенты обучают свои локальные модели и отправляют функцию моделей на сервер, что требует произвольного времени обработки и передачи. Сервер обновляет глобальную модель и передает ее обратно клиентам. Проблема выбора клиентов в FL состоит в том, чтобы запланировать подмножество клиентов для обучения и передачи в каждый заданный момент времени, чтобы оптимизировать эффективность обучения. В этой статье мы представляем новый подход на основе многорукого бандита (MAB) для выбора клиентов, чтобы минимизировать задержку обучения без ущерба для способности модели обобщать, то есть предоставлять надежные прогнозы для новых наблюдений. Мы разрабатываем новый алгоритм для достижения этой цели, получивший название Bandit Scheduling for FL (BSFL). Мы анализируем BSFL теоретически и показываем, что он достигает логарифмического сожаления, определяемого как потеря BSFL по сравнению с джинном, который имеет полное знание о средних задержках всех клиентов. Кроме того, результаты моделирования с использованием синтетических и реальных наборов данных показывают, что BSFL превосходит существующие методы.
2. Вывод на основе дизайна для многоруких бандитов (arXiv)
Автор: Дэ Ун Хэм, Явор Божинов, Майкл Линдон, Мартин Тингли.
Абстрактный :
