Поймите, как разрабатывать системы технического обучения для сбора открытых ответов от пользователей в текстовом формате.

Чтобы по-настоящему понять тип системы измерения, которую необходимо внедрить для получения обратной связи, нужно также смиренно признать как специалист по данным недостатки и неточные возможности обработки естественного языка и машинного обучения.

Нажмите +F, сколько раз я упомянул основной источник.

Пример использования: анализ комментариев в произвольном формате; предсказать их бинарное настроение (положительное или отрицательное); и измерьте величину этого настроения (например, полярность в TextBlob, положительную или составную оценку в VADER, вашу пользовательскую оценку настроения для специально обученной модели и т. д.). Вашему клиенту нужно, чтобы вы построили прогностический конвейер реализации, который постоянно информирует почти в режиме реального времени по мере поступления отзывов, чтобы предсказать их настроение.

В той степени, в какой вы можете обучать свои собственные данные и маркировать их для своего уникального варианта использования (например, данные о разнообразии), и в той мере, в какой у вас есть доступ к многочисленным реализациям НЛП, от подходов с набором слов до конвейеров глубокого обучения, существует на самом деле это одна переменная, которая настолько сильно влияет (и все же редко по-настоящему понимается или игнорируется), что имеет большее значение, чем что-либо еще: данные, переданные вам конечным пользователем, помеченные, как предполагалось.

Конечный пользователь является основным источником, и независимо от того, насколько новаторскими и исключительными являются ваши методы прогнозирования настроений, основной источник (клиент, сотрудник) всегда прав. Мы рассмотрим это более подробно в ближайшее время.

Я лично руководил развертыванием нескольких десятков измерительных систем и построил конвейеры НЛП для их анализа практически в режиме реального времени в федеральном правительстве США, чтобы понять моменты, которые важны для конечного пользователя. Во время этих поездок, если я когда-либо собирался собирать открытые комментарии в произвольном тексте, я всегда развертывал систему измерения, которая *требовалась* от конечного пользователя ( даже если время «нагрузки» увеличилось еще на одну минуту из-за добавленного(ых) вопроса(ов)) для идентификации унарным способом, таким образом, что (1) если они хотели оставить комментарий, (2) они должны были идентифицировать его как комплимент или рекомендация.

В рамках управления жизненным циклом науки о данных мы несем ответственность за «правильную» аналитику в соответствии с набором действующих правил. По сути, вы можете сделать вещи необычайно менее напряженными, если четко понимаете, что — поскольку данные поступают непрерывно каждую секунду и готовы к тому, чтобы ваша экосистема ИИ получила их для реализации конвейера — не вы определяете, является ли собранная обратная связь «комплимент» или «рекомендация»; скорее, это конечный пользователь.

Представьте себе день, когда вы могли бы группировать обзоры, собранные Amazon по множеству вопросов, по комплиментам и рекомендациям по критериям группировки.

Ваша новая алгоритмическая реализация не определяет эти метки. Конечный пользователь сделал это.

Мы так привыкли к кнопкам-смайликам в аэропортах (такие, что нажимаешь и галишь — есть выход на цифровой приемник для «анализа»); мы так привыкли к отзывам на Amazon, что от одного до пяти (впоследствии вы можете писать обо всем, что хотите, независимо от пяти тем дня, которые вы, кажется, распаковываете, прямо или косвенно связанных с обзором, который вы оставляете) ).

Мы сделали вещи такими сложными, запутанными и сильно абстрактными для конечного пользователя, предоставив им платформу, чтобы свободно выражать свои чувства в свободном тексте.

Давайте реализуем такую ​​«систему измерения» и поговорим о ее конструкции; важно понимать фундаментально такую ​​конструкцию, поскольку она поможет вам понять, как и почему мы даже пытаемся предсказать.

Подход A (сложный, запутанный и сильно абстрактный):

Вопрос 1. Помогите нам лучше обслуживать вас. Пожалуйста, рассмотрите возможность оставить комментарий или отзыв о _____.

**Вот ваше поле для ввода свободного текста, где вы можете оставить свой отзыв***

И вы уходите, когда вы и ваша команда участвуете в путешествии по макро- и микропрогнозам дня.

Подход B (направленный и настраивает конечного пользователя на то, как он думает, и они оценят вас за это):

Вопрос 1.Помогите нам лучше обслуживать вас. Хотите поделиться своим отзывом с комплиментом или рекомендацией о своем опыте работы с ____?

→Раскрывающийся список:[Да][Нет] (можно выбрать только один)

(или вы хотите... список продолжается, как составить вступление; применение ориентированного на человека дизайна + дизайн-мышления к определению этого вступления является критически важным для МИССИИ, потому что это высоконаучно)

Вопрос 2. Спасибо, что решили поделиться своим отзывом. Это комплимент, рекомендация или и то, и другое?
→Раскрывающийся список: [Комплимент][Рекомендация][Оба] (можно выбрать только один) (в мои прошлые реализации, я *никогда* не строил «оба» как вариант, будь то вопрос или вариант раскрывающегося списка; тем не менее, я создаю его здесь таким образом, чтобы он мог применяться к вашему варианту использования).

*Вот поле с произвольным текстом для ввода вашего отзыва, который, как мы надеемся, будет подобран в соответствии с вашими раскрывающимися критериями*

Последнее очень важно для разграничения Подхода А и Подхода Б. В то время как в Подходе А у вас нет меток для какой-либо части свободного текста, в Подходе Б они есть — это потому, что первоисточник решил уведомить вас о том, что они собираются составить «комплимент», «рекомендацию» или «и то, и другое».

Мы не подвергаем сомнению намерение первоисточника. ОНИ - первоисточник. Не вы.

Если из 8 000 000 бесплатных текстовых ответов, которые вы получили за последние шесть месяцев, вы определили, что 71 % поступили как «комплименты», а 29 % — как «рекомендации», то *это основано на решениях, принятых первоисточником*. Нет лучшего аргумента для защиты, чем утверждение «так сказал первоисточник».

Как только вы определили эти метки в соответствии с первоисточником, вы можете посвятить время фактическому измерению величины этих меток.

Значительно проще работать с рекомендациями, чтобы определить масштабы негатива, беспокойства, неотложных и приоритетных вопросов, чем бесспорно заявить, что вы предсказали раскол 71%–29% (аналогично приведенному выше сценарию).

Анализировать рекомендации и комплименты значительно проще, чем 1, 2, 4 и 5. Люди не боты; в таком контексте мы не думаем единицами и пятерками и не запоминаем информацию, охватывающую десятилетия нашей жизни. Мы думаем обо всем качественно, проницательно, субъективно и исходя из наших предубеждений. Например, как мы можем убедить конечного пользователя в том, что 1 является более серьезным, чем 2, когда они оба от плохого к худшему во всех диапазонах таких серьезностей? 1 кризис? Почему 2 не кризис?

Мы мыслим темами и прилагательными. Например, мы так эффективно изучаем иностранные языки или совершенствуем их: проще задействовать наши пять чувств, чтобы внедрить структуру в наше изучение языков, чем в 1, 2, 3, 4 и 5.

Объясняя конечному пользователю, что вы подталкиваете его к тому, чтобы оставить комплимент или рекомендацию, вы даете ему возможность думать в этом *настроении*. Выбирая комплимент, мы надеемся, что они составят его в таком настроении.

Итак, последний пункт. Организациям нужны комплименты. Сотрудники хотят читать комплименты. Клиенты хотят говорить комплименты. Конечные пользователи желают говорить комплименты. Каналы запроса обратной связи не должны быть откровениями о проступках, проблемах и плохих манерах. Снова и снова, при развертывании и измерении идей, которые я собрал с помощью десятков измерительных инструментов, никогда не было ни одного случая, когда проблемы превышали количество комплиментов: в большинстве случаев я всегда видел, что комплименты значительно превышают количество рекомендаций или опасений. Я бы получил такую ​​обратную связь, что это было бы комплиментом за то, что мы попросили комплимент (и как это освежает). Если вы спросите их, и они пребывают в таком настроении, они вполне могут решить ответить вам именно в этом настроении.

И, возможно, вы получите комплимент.

И нет лучшей новости, а также для ученых в рамках аналитики заявить, что «у нас есть комплименты» (а не «мы предсказываем…»).

Затем явно встройте в свою систему измерений и (1) предоставьте своим командам и организациям расширенную обратную связь — все в соответствии с первоисточником и (2) предоставьте конечному пользователю возможность подписаться!