1. Роботизированный захват человека в цикле с использованием представления сцены BERT(arXiv)
Автор: Яосянь Сун, Пэнлэй Сун, Пэнфэй Фан, Линьи Ян, Янхуа Сяо, Юэ Чжан
Аннотация:Современные методы НЛП широко применяются в различных областях. В этой статье мы предлагаем модель «человек в цикле» для роботизированного схватывания в загроможденных сценах, исследуя языковой интерфейс к процессу схватывания, который позволяет пользователю вмешиваться с помощью команд на естественном языке. Эта структура построена на современной базовой линии обработки, где мы заменяем представление графа сцены текстовым представлением сцены с помощью BERT. Эксперименты как с моделированием, так и с физическим роботом показывают, что предлагаемый метод превосходит традиционные методы, не зависящие от объекта, и методы, основанные на графе сцены, описанные в литературе. Кроме того, мы обнаружили, что с вмешательством человека производительность может быть значительно улучшена.
2. Автоматическая классификация открытых вопросов с помощью BERT(arXiv)
Автор:Хюкджун Гвеон, Маттиас Шонлау
Вывод:ручное кодирование текстовых данных из открытых вопросов в различные категории требует много времени и средств. Автоматическое кодирование использует статистическое/машинное обучение для обучения на небольшом подмножестве закодированных вручную текстовых ответов. В последнее время предварительное обучение общей языковой модели на огромном количестве несвязанных данных и последующая адаптация модели к конкретному приложению доказали свою эффективность при обработке естественного языка. Используя два набора данных, мы эмпирически исследуем, является ли BERT, доминирующая в настоящее время предварительно обученная языковая модель, более эффективной при автоматическом кодировании ответов на открытые вопросы, чем другие подходы статистического обучения без предварительной подготовки. Мы обнаружили, что точная настройка предварительно обученных параметров BERT имеет важное значение, поскольку в противном случае BERT не может быть конкурентоспособным. Во-вторых, мы обнаружили, что точно настроенный BERT едва превосходит подходы статистического обучения без предварительной подготовки с точки зрения точности классификации при обучении на 100 закодированных вручную наблюдениях. Однако относительное преимущество BERT быстро увеличивается, когда для обучения доступно больше закодированных вручную наблюдений (например, 200–400). Мы пришли к выводу, что для автоматического кодирования ответов на открытые вопросы BERT предпочтительнее, чем модели без предварительной подготовки, такие как машины опорных векторов и бустинг.
3.SkIn: классификация длинных текстов с интенсивным просмотром с использованием BERT для медицинского корпуса(arXiv)
Аннотация:BERT — это широко используемая предварительно обученная модель для обработки естественного языка. Однако, поскольку BERT квадратичен к длине текста, модель BERT трудно использовать непосредственно в корпусе длинных текстов. В некоторых областях собранные текстовые данные могут быть довольно длинными, например, в области здравоохранения. Поэтому, чтобы применить предварительно обученные языковые знания BERT к длинному тексту, в этой статье, имитирующей метод интенсивного беглого чтения, используемый людьми при чтении длинного абзаца, предлагается модель интенсивного беглого просмотра (SkIn). Он может динамически выбирать критическую информацию в тексте, чтобы значительно сократить ввод предложения в модель BERT-Base, что может эффективно снизить стоимость алгоритма классификации. Эксперименты показывают, что метод SkIn обеспечивает более высокую точность, чем базовые уровни, для наборов данных классификации длинных текстов в области медицины, в то время как его требования к времени и пространству увеличиваются линейно с длиной текста, облегчая проблему переполнения времени и пространства базового BERT для длинных текстов. текстовые данные.
