Люди узнают что-то новое с помощью очень небольшого набора примеров - например, ребенок может обобщить понятие «собака» на основе одной картинки, но системе машинного обучения требуется множество примеров, чтобы изучить ее особенности. В частности, при предъявлении стимулов люди, кажется, способны быстро понять новые концепции, а затем распознать вариации этих концепций в будущих восприятиях. Машинное обучение как область успешно решает различные задачи, такие как классификация, поиск в Интернете, распознавание изображений и речи. Однако часто эти модели не очень хорошо работают в режиме с низким объемом данных. ‘
Это основная мотивация One Shot Learning; обучить модель с меньшим количеством примеров, но обобщить на незнакомые категории без обширного переобучения.
Трость однократного обучения может использоваться для задачи категоризации объектов в компьютерном зрении. В то время как большинство алгоритмов категоризации объектов на основе машинного обучения требуют обучения на сотнях или тысячах изображений и очень больших наборах данных, однократное обучение направлено на получение информации о категориях объектов из одного или только нескольких обучающих изображений.
Один из способов решения проблем в One Shot Learning - разработка конкретных характеристик, относящихся к предметной области; функции, обладающие отличительными свойствами, характерными для данной целевой задачи. Однако проблема этого подхода заключается в отсутствии обобщения, которое сопровождается предположениями о структуре входных данных. В этом проекте мы используем подход, аналогичный одновременной оценке различных функций активации [KAFNETS], которые могут лучше подходить для этой задачи. Общая стратегия, которую мы применяем, состоит из двух частей; обучить отличительную модель глубокого обучения на наборе данных с похожими / несходными парами. Затем, используя изученные сопоставления функций, мы можем оценивать новые категории.
Поскольку One Shot Learning фокусируется на моделях, которые имеют непараметрический подход к оценке, мы натолкнулись на Kafnets (непараметрические функции активации на основе ядра), которые показали первоначальные перспективы в этой области обучения нейронных сетей с использованием различных форм функций активации; так, чтобы увеличить нелинейность, тем самым уменьшая количество слоев и увеличивая точность во многих случаях. В этой статье (https://arxiv.org/abs/1707.04035) предложены две функции активации KAF и KAF2D, и основное внимание уделяется их природе непрерывности и дифференцируемости. Мы воспользовались помощью реализации этих функций активации и сравнили их эффективность с традиционными при использовании в контексте обучения One Shot.
Полный код можно найти в моем репозитории на github здесь:
Мы попытались протестировать функции нелинейной активации для наборов данных, включая MNIST и Face AT&T Dataset. Мы смогли увидеть огромную разницу в том, какие кластеры формируются в конце.
Мы оценили наши результаты на основе оценки силуэтов, чтобы увидеть, улучшились ли наши кластеры или нет. Ниже приведены фактические статистические данные, которые мы получили.
Этот проект доказывает, что алгоритм параметрического машинного обучения может быть преобразован в непараметрический алгоритм, который можно обучать на меньшем количестве примеров с помощью соответствующих функций активации.
Если вы найдете нашу работу или полезную. пожалуйста, рассмотрите возможность цитирования нас:
Джадон С., Сринивасан А. А. (2019). Улучшение сиамских сетей для обучения одним выстрелом с использованием функций активации на основе ядра. Препринт arXiv arXiv: 1910.09798.
