Введение

За последние 2 года мы помогли сотням компаний, занимающихся компьютерным зрением, и обучили тысячи аннотаторов для их проектов по маркировке данных. Главный вывод? Это трудоемкий и утомительный процесс.

Постоянно возникали одни и те же вопросы:

  • "Как мы можем гарантировать, что аннотаторы будут создавать высококачественные метки?"
  • "Есть ли наиболее эффективный способ добавить их в проекты аннотаций?"
  • "Сколько времени обычно требуется, чтобы аннотаторы прошли квалификацию и были готовы приступить к маркировке обучающих данных?"
  • "Должны ли мы переобучать наших комментаторов?"

Часто мы отвечали: «Это зависит от обстоятельств», что не очень устраивало ни нас, ни наших клиентов. И именно поэтому в течение последнего года наша команда работала над созданием платформы для обучения аннотаторов, о которой мы мечтаем!

Адаптация и обучение новых комментаторов может быть сложной задачей, особенно при работе со сложными наборами данных и конкретными вариантами использования. Но с модулем обучения аннотаторов от Encord вы можете упростить процесс, предоставить четкие и краткие учебные материалы и измерить производительность аннотаторов, прежде чем разрешить им аннотировать изображения, на которых обучаются ваши модели.

Точная маркировка гарантирует, что ваши модели смогут правильно идентифицировать и классифицировать объекты. Однако создание высококачественной маркировки является сложной задачей, особенно при работе с большими наборами данных.

В этой статье мы рассмотрим, как вы можете подключить аннотаторов с помощью модуля обучения аннотаторов, чтобы повысить скорость и производительность ваших аннотаторов, а также скорость и качество надписей.

Если вам понравился этот пост, мы знаем, что вам также понравятся следующие:

Почему качественные этикетки имеют решающее значение для моделей машинного обучения

Как вы знаете, модели машинного обучения полагаются на высококачественные обучающие данные, чтобы делать точные прогнозы и, следовательно, принимать решения. В приложениях компьютерного зрения качество обучающих данных зависит от качества аннотаций. Аннотации — это метки, которые применяются к изображениям или видео для обозначения объектов, областей или других интересных особенностей. Например, на изображении уличной сцены аннотации могут включать в себя расположение транспортных средств, пешеходов и дорожных знаков, а также классификацию времени суток, погоды или действия, происходящего на изображении.

Неточные или непоследовательные аннотации могут привести к неправильным прогнозам и решениям, которые могут иметь серьезные последствия в дальнейшем, когда вы развертываете свои модели в рабочей среде.

Чтобы обеспечить высокое качество аннотаций, важно иметь хорошо обученных и опытных аннотаторов, которые следуют передовым методам и рекомендациям.

Однако привлечение и обучение тысяч аннотаторов может быть проблемой, особенно при работе с несколькими аннотаторами (и постоянно меняющимся персоналом), сложными предметными областями и различными вариантами использования.

Существующие практики адаптации аннотатора

Традиционные методы адаптации аннотаторов обычно включают предоставление аннотаторам письменных руководств и инструкций, а затем доверие к ним в последовательном применении этих руководств.

Однако такой подход может быстро привести к различиям в качестве аннотаций и несоответствиям между аннотаторами.

Другой распространенный подход заключается в том, чтобы иметь небольшую группу экспертов-аннотаторов, которые выполняют аннотации, а затем используют их аннотации в качестве библиотеки основных правд, на которую могут ссылаться ваши аннотаторы. Недостатком этого подхода является то, что он может быть дорогим, трудоемким и плохо масштабируемым.

Для решения этих проблем все больше компаний обращаются к специализированным инструментам аннотирования, которые помогают обеспечить согласованность и качество процесса обучения аннотированию. Эти инструменты обеспечивают более структурированный и эффективный способ адаптации нового аннотатора.

Имейте в виду, однако, что с большинством этих инструментов может быть сложно эффективно адаптировать и обучать ваших аннотаторов. Вот тут-то и появляется учебный модуль Annotator от Encord.

Измерение качества аннотаций

Я думаю, мы можем согласиться с тем, что высококачественные аннотации имеют решающее значение для успеха ваших моделей компьютерного зрения. Таким образом, измерение качества аннотаций является важным шагом для обеспечения надежности, точности и объективности данных. В этой главе мы обсудим важность измерения качества аннотаций и различные методы, используемые для оценки качества аннотаций. Пропустите вперед, если хотите прочитать о существующих практиках и учебном модуле Annotator.

Обзор различных методов измерения качества аннотаций

Существуют различные методы измерения качества аннотаций. Некоторые из наиболее распространенных методов:

  • Эталонный IOU. Он измеряет степень согласованности между двумя разными ярлыками. Наиболее распространенный метод измерения согласия по эталонным долговым распискам — это использование показателей пересечения над объединением (IOU). IOU измеряет перекрытие между ограничивающими прямоугольниками, созданными разными аннотаторами. Чем выше оценка IOU, тем выше согласие между аннотаторами.
  • Точность. Точность измеряет долю правильно помеченных аннотаций. Он рассчитывается путем деления количества правильно помеченных аннотаций на общее количество аннотаций.
  • Эталон достоверности. Последний подход заключается в том, чтобы иметь небольшую группу экспертов-аннотаторов, которые выполняют аннотации, а затем используют их аннотации как наземную достоверность для сравнения качества. Наземные метки Benchmark — самый надежный метод измерения качества аннотаций, но их создание может занять много времени.

Сравнение различных методов

Каждый метод измерения качества аннотаций имеет свои сильные и слабые стороны.

Эталонный IOU – это хороший показатель степени соответствия между аннотациями, но на него могут влиять размер и форма аннотируемого объекта.

Точность — это хороший показатель доли правильных аннотаций, но он не учитывает степень согласия между авторами аннотаций.

Наземные контрольные метки – это наиболее надежный метод измерения качества аннотаций, но их создание может занять много времени.

Учебный модуль Annotator от Encord объединяет все три метода в один и автоматизирует процесс оценки (Конечно, Benchmark IOU применим только для случаев с ограничивающими рамками, многоугольниками или задачами сегментации).

Представляем учебный модуль Annotator от Encord

Учебный модуль Annotator был разработан для плавной интеграции в ваши существующие рабочие процессы операций с данными. Модуль можно настроить в соответствии с конкретными потребностями и требованиями каждого варианта использования и проекта с возможностью корректировки оценки оценки для каждого проекта.

С модулем обучения аннотаторов адаптация и оценка аннотаторов становится проще простого. Модуль предназначен для того, чтобы аннотаторы получали надлежащее обучение и поддержку, необходимые им для последовательного создания высококачественных аннотаций.

Модуль включает возможность включения инструкций по обучению Annotator непосредственно в пользовательский интерфейс. Такие инструкции могут варьироваться от подробных инструкций о том, как использовать инструмент аннотирования, до рекомендаций по конкретным задачам аннотирования.

Вы можете настроить инструкции по обучению в соответствии с вашими конкретными вариантами использования и рабочими процессами, чтобы вашим комментаторам было проще понять требования и рекомендации проекта.

Ваша группа по работе с данными (или вы) можете отслеживать производительность ваших аннотаторов и определять области для улучшения.

Пошаговое руководство по использованию модуля для встроенных аннотаторов

Использование модуля Encord Annotator Training Module — простой и понятный процесс. Вот пошаговое руководство по использованию модуля для встроенных аннотаторов:

Если вы хотите просмотреть полное руководство с видео и примерами, см. это руководство:

Шаг 1: Загрузите данные

Сначала вы загружаете данные в Encord и создаете новый набор данных. Этот набор данных будет содержать данные, на которых нарисованы наземные метки истинности. Для этого вам нужно выбрать подходящий набор данных для вашего конкретного случая использования. После того, как набор данных выбран, его необходимо загрузить на платформу аннотаций. Это можно сделать, выбрав набор данных из вашей локальной папки или загрузив его через облачную корзину.

Шаг 2. Настройте контрольный проект

Следующим шагом в этом процессе является создание эталонного проекта. Тестовый проект используется для оценки качества аннотаций, созданных аннотаторами. Важно правильно настроить тестовый проект, чтобы аннотации, созданные аннотаторами, были точными и надежными. Чтобы настроить эталонный проект, вам необходимо создать новый стандартный проект. После создания проекта необходимо определить онтологию. Онтология — это набор правил и руководств, определяющих, как должны создаваться аннотации. Это обеспечивает согласованность всех аннотаций и упрощает оценку качества аннотаций.

Шаг 3: Создайте метки достоверности

После того, как проект эталонного теста настроен, пришло время создать метки истинности. Это можно сделать вручную или программно. Наземные метки истины — это метки, которые будут использоваться для оценки точности аннотаций, созданных аннотаторами.

Создание меток истинности вручную требует от экспертов в предметной области использования приложения для аннотаций для ручного аннотирования блоков данных, как показано здесь с ограничивающими прямоугольниками, нарисованными вокруг цветов. В качестве альтернативы можно использовать SDK для программной загрузки этикеток, созданных вне Encord.

Шаг 4. Настройка и назначение учебных проектов

После создания основных меток истинности пришло время настроить и назначить учебный проект с той же онтологией. После создания учебного проекта необходимо настроить функции подсчета очков. Они будут назначать баллы отправкам аннотаторов и вычислять относительный вес различных компонентов аннотаций.

Теперь, когда модуль настроен, вы можете пригласить аннотаторов для участия в обучении. Encord предоставляет пул обученных аннотаторов, которых можно добавить в ваш проект, или вы можете пригласить своих собственных аннотаторов. Как только комментаторы будут добавлены в проект, им будут предоставлены обучающие задания для выполнения.

Шаг 5: Обучение аннотаторов

Когда учебный проект настроен и функции оценки назначены, пришло время обучить комментаторов с помощью поставленных задач. Каждый аннотатор увидит назначенные ему задачи маркировки и количество оставшихся задач. За ходом работы аннотаторов может следить администратор учебного модуля. Это позволяет администратору видеть эффективность комментаторов по мере прохождения ими обучения и оценивать их общий балл в конце.

Шаг 6. Оцените производительность аннотатора

После того, как комментаторы выполнили поставленные перед ними задачи, пришло время оценить их работу с помощью функции подсчета очков.

Эта функция присваивает баллы аннотациям, созданным комментаторами, и вычисляет общий балл. При необходимости можно внести изменения в функцию оценки, чтобы скорректировать относительные веса различных компонентов аннотаций.

Это гарантирует, что функция оценки точно отражает важность каждого компонента, а общая оценка точно отражает качество аннотаций. Наконец, аннотаторам можно предоставить отзывы о своей работе и, при необходимости, провести дополнительное обучение.

Заключение

Аннотирование больших наборов данных — сложный и трудоемкий процесс, но это важный шаг в разработке высококачественных моделей машинного обучения. Без точных и последовательных аннотаций алгоритмы машинного обучения будут давать неточные или ненадежные результаты.

Учебный модуль Annotator от Encord представляет собой мощное решение для групп по работе с данными и инженеров по компьютерному зрению, которым необходимо быстро и эффективно подключить тысячи аннотаторов. С помощью модуля вы можете гарантировать, что ваши аннотаторы получат надлежащее обучение и поддержку, необходимые им для последовательного создания высококачественных аннотаций.

Хотите быть в курсе?

  • Подпишитесь на нас в Twitter и LinkedIn, чтобы узнать больше о компьютерном зрении, обучающих данных и активном обучении.
  • Присоединяйтесь к сообществу Slack, чтобы общаться и общаться.

Первоначально опубликовано на https://encord.com.