Майкл Зулиани и Пол МакИнерни

Люди ожидают, что информация из авторитетного источника будет точной и точной. И это то, что инженеры ИИ стремятся реализовать в своих моделях ИИ. Однако в обозримом будущем модели искусственного интеллекта иногда не оправдывают ожиданий. Этот пробел дает возможность дизайнерам UX.

UX-дизайн может повысить полезность модели ИИ, внося вклад пользователя в традиционные инженерные проблемы точности и точности модели ИИ. То есть UX-дизайнеры могут понимать цели пользователей и предлагать способы корректировки модели в свете этих целей.

Как это сделать с помощью UX? Лучше всего начать продуктивный диалог с инженерами искусственного интеллекта.

Разговор с инженерами ИИ о полезности

UX-дизайнерам нужно копать под экраном и взаимодействовать с AI-инженерами на их территории. Для этого UX-дизайнерам и AI-инженерам необходим lingua franca. Такие повседневные термины, как точность и точность, имеют особое значение для инженеров ИИ, и в них используются такие термины, как оценка выходного узла, которые непонятны непосвященным. UX-дизайнерам необходимо знать о концепциях ИИ ровно столько, чтобы вести содержательные дискуссии с ИИ-инженерами. Тем, кто ищет рекомендуемые материалы, см. Раздел Дополнительная литература.

Однако это не улица с односторонним движением. UX-дизайнеры должны помочь инженерам понять точку зрения пользователя, начиная с повседневного понимания точности и точности ответа :

  • Точность: указывает на то, насколько близок ответ к правильному значению.
  • Точность. Относится к тому, насколько конкретный (точный или подробный) ответ.

В контексте ИИ термин ответ относится к выходному значению модели ИИ при некоторых входных данных.

Затем UX-дизайнерам необходимо представить точку зрения пользователя, чтобы найти компромисс между точностью и точностью. В то время как инженеры ИИ стремятся к максимальной точности и точности, наступает момент, когда дальнейшие улучшения предполагают приоритетность одного из них. То есть вариант 1 приведет к большей точности, а вариант 2 - к большей точности. С точки зрения UX этот приоритет следует устанавливать в зависимости от потребностей пользователя. В некоторых случаях потребности пользователей лучше всего удовлетворяются, отдавая приоритет точности точности. В остальных случаях все наоборот. В общем, перспектива UX спрашивает: «Что наиболее полезно для удовлетворения этой потребности пользователя», а не «Что дает наилучшие результаты по нашим инженерным показателям».

Наконец, чтобы успешно взаимодействовать с инженерами ИИ, UX-дизайнерам необходимо адаптировать это руководство к обсуждаемому типу модели ИИ. В оставшейся части статьи мы сделаем это для трех распространенных типов моделей искусственного интеллекта.

Классификационные модели

Является ли эта транзакция по кредитной карте мошеннической? На этой фотографии есть машина? Какая модель автомобиля изображена на этой фотографии? Эти примеры иллюстрируют обычное применение ИИ - классификацию предметов.

Давайте конкретизируем наши определения для использования с моделями классификации и сравним точки зрения инженеров и пользователей ИИ:

  • Точность: насколько закрыть категорию, выбранную ИИ, к правильной категории.

Для инженеров ИИ точность классификации часто бывает двоичной - классификация элемента правильная или неправильная.

Для пользователей, однако, иногда может быть полезно рассмотреть несколько уровней неточности, например, близкий промах или совершенно неточный.

  • Точность: насколько конкретна категория, выбранная ИИ.

Инженеры и пользователи искусственного интеллекта одинаково относятся к точности классификации: высокая точность означает возможность классифицировать элемент в узкую, конкретную категорию.

В моделях классификации ключевым дизайнерским решением является то, насколько широкими или узкими являются категории. Другими словами, насколько точны категории и, следовательно, насколько точны ответы?

При принятии этого решения необходимо руководствоваться компромиссом между точностью и аккуратностью, который резюмируется ниже:

Далее мы увидим, как этот компромисс разворачивается на конкретном примере.

Пример использования классификационной модели

Классификация расходов - лучшая практика в личных финансах. Это приводит к пониманию, которое помогает при составлении бюджета и экономии.

Представьте себе ИИ, который читает выписки по личным кредитным картам и присваивает каждому расходу одну из следующих категорий:

  • Расходы на авто (газ, платные дороги и т. Д.)
  • Расходы на такси и проезд
  • Продовольственные товары
  • Еда в ресторане
  • Кофе и закуски

Этот ИИ может классифицировать расходы с высокой точностью, за исключением того, что часто путает две категории:

  • Еда в ресторане
  • Кофе и закуски

Классификационные модели могут иметь множество недостатков. Проиллюстрированная здесь проблема - это локальная проблема смешения двух категорий.

Решение UX, которое следует рассмотреть, - это объединение двух категорий до представления результатов пользователю следующим образом:

Это решение приводит к более высокой точности за счет более низкой точности. Но так ли лучше? Ответ основан на оценке потребностей пользователей с точки зрения следующих вопросов:

  • Какую ценность для пользователей выиграют от повышения точности классификации

vs.

  • Какую ценность потеряли бы пользователи потеряли из-за уменьшения точности категорий?

В конце концов, инженеры ИИ смогут улучшить модель, чтобы устранить путаницу между этими категориями. Однако с этим временным UX-решением пользователи могут тем временем получить пользу от модели. Кроме того, инженеры ИИ имеют возможность направить инженерные усилия на более приоритетные улучшения, такие как введение категории расходов на общественный транспорт.

Регрессионные модели

Какие методы ведения сельского хозяйства обеспечивают наилучший урожай? Какой урожай будет получен в результате конкретной практики ведения сельского хозяйства? Какой кандидат на вакансию лучше всего подходит для этой должности? Эти примеры иллюстрируют другой распространенный тип ИИ - определение количественного целевого значения. Этот тип ИИ часто называют регрессией.

Давайте специализируемся и обсудим наши определения для использования с регрессионными моделями:

  • Точность: насколько близко количественное значение от ИИ к правильному значению.
  • Точность: сколько много значащих цифр представлено в ответе ИИ.

Для регрессионных моделей существует тесное соответствие между техническими определениями и повседневными определениями. Ключевой вопрос, касающийся полезности ответов в регрессионных моделях, заключается в том, что очень точные ответы (точечные оценки) обычно не являются той информацией, которую люди считают наиболее полезной. Мы рассмотрим этот момент в нашем тематическом исследовании.

Пример использования регрессионной модели

Если бы вы были инженером по надежности в муниципальном отделе водоснабжения, вам бы хотелось предсказать, когда выйдет из строя водяной насос. Эта информация поможет вам спланировать, какое техническое обслуживание и когда выполнять.

Представьте себе ИИ, который мог бы считывать данные с датчиков температуры и вибрации, а затем предсказывать, когда каждый насос выйдет из строя. Необработанный выходной сигнал для одного насоса может выглядеть следующим образом:

Это предсказание, безусловно, точное, и давайте предположим, что оно верное. Тем не менее, это не так полезно, как могло бы быть.

Модели регрессии могут дать очень точные ответы, например, 30 дней, 33 дня или даже 33 дня и 4 часа. По чисто математическим критериям сверхточный ответ может быть правильным или лучшим ответом.

Однако примите во внимание потребности нашего инженера по надежности, который задает примерно такой вопрос: В каком месяце мне следует заменить двигатель в насосе 2? Насколько вероятно, что двигатель выйдет из строя, если я подожду один месяц? Два месяца? Три месяца?

Чтобы удовлетворить эту потребность, требуется точность в ближайший месяц. Этот пользователь не получает дополнительной ценности от прогноза, выраженного до ближайшего дня или часа.

Кроме того, этому инженеру по надежности, вероятно, лучше бы подошло распределение вероятностей, подобное показанному ниже:

Еще лучше может быть менее точная разбивка по месяцам. Этот тип отчета позволяет инженеру по надежности оценить риск длительного ожидания для выполнения технического обслуживания.

В заключение остановимся на нескольких связанных моментах:

  • Некоторые аудитории плохо понимают распределения вероятностей, поэтому при информационном дизайне необходимо учитывать, какой уровень детализации и сложности подходит для данной аудитории.
  • Иногда изменение отображаемой информации сводится к форматированию вывода. Однако в других случаях это требует изменения модели ИИ. По этой и другим причинам ...
  • Обсуждения того, какую информацию пользователи сочтут наиболее полезной, лучше всего согласовать заранее, прежде чем предположения безвозвратно закрепятся в модели ИИ.

Оценка вариантов

Какой мобильный телефон мне купить? Должен ли я продавать свои инвестиции сейчас или позже? Эти примеры иллюстрируют еще одно распространенное применение ИИ - оценку вариантов для определения наилучшего.

Этот тип ИИ отличается от моделей классификации и регрессии по нескольким причинам. Во-первых, нет однозначного правильного ответа. Какой вариант считается лучшим, остается только на усмотрение - вывод, сделанный путем взвешивания нескольких противоречащих друг другу факторов. А что считается лучшим, зависит от человека и ситуации.

Во-вторых, варианты можно оценивать на нескольких уровнях детализации. Оценка могла:

  • Определите только лучший вариант, например, вариант Б - лучший.
  • Упорядочите все варианты, например, вариант B, затем C, затем A.
  • Определите качество каждого варианта, например, вариант B в 2,4 раза лучше, чем вариант C.

Имея это в виду, мы можем конкретизировать наши определения для контекста оценки вариантов:

  • Точность: насколько близка оценка ИИ к правильной оценке.

Для любой модели нам необходимо указать, относится ли точность к: определению только лучшего варианта, ранжированию всех вариантов или количественной оценке качества каждого варианта.

  • Точность: насколько конкретным является значение от ИИ.

Подобно моделям классификации, высокая точность означает возможность оценить узкий, конкретный вариант.

При использовании этого типа ИИ полезность информации зависит от предоставленной контекстной информации. Простое представление ответа, каким бы точным и точным он ни было, имеет ограниченную полезность, как мы увидим в нашем тематическом исследовании.

Пример из практики оценки вариантов

При лечении пациента врачам часто приходится выбирать из нескольких вариантов лечения. ИИ может помочь выбрать лучший вариант для каждого пациента.

Представьте себе ИИ, который может читать историю болезни пациента и оценивать четыре варианта лечения. Пример исходного вывода показан ниже. Лечебные процедуры отсортированы по количеству баллов, где 0,99 является наилучшим из возможных баллов.

Из этого необработанного вывода врач мог определить, что ИИ считает лечение C лучшим вариантом, поскольку оно получило наивысший балл. Однако этот вывод не так полезен, как мог бы, потому что он не касается некоторых вещей, которые хочет знать врач:

  • Хотя Лечение C является «лучшим», оно «настоятельно рекомендуется» или «лучшее из плохой партии», или это что-то среднее?
  • Лечение А тоже кажется неплохим. Насколько лучше лечение C с практической точки зрения?

Как можно было бы представить этот результат более полезным образом с точки зрения нашего внимания к точности и точности? Проще говоря, проблема в том, что слишком много данных и недостаточно информации. То есть баллы лечения (например, 0,79) более точны, чем необходимо, но не предоставляется важная информация.

Одно из решений - сгруппировать варианты по значимым уровням целесообразности. То есть можно определить небольшой набор категорий рейтинга, таких как Рекомендуется и Не рекомендуется; тогда вариантам можно было присвоить одну из оценок.

Эта более грубая (менее точная) рейтинговая схема больше соответствует реальности, что методы лечения C и A примерно одинаково целесообразны, и любой из них будет эффективен для этого пациента.

Мы закончим некоторыми дополнительными соображениями по UX для этого типа ИИ:

  • Набор опций необходимо спроектировать. Вопросы включают: насколько узкими они должны быть? Следует ли исключить какие-либо варианты - если да, то как об этом сообщить пользователям?
  • Схема рейтинга также должна быть разработана. Альтернативой приведенной выше может быть четырехуровневая схема, например: Лучший вариант | Рекомендуется | Приемлемо | Не рекомендуется.
  • Использование рейтинговой схемы требует дополнительного уровня интеллекта. Этот слой преобразует исходную точную оценку (0,79) в менее точную, но более полезную оценку (рекомендуется).
  • Есть тонкое, но важное различие между оценкой списка вариантов и рекомендацией варианта. В нашем тематическом исследовании окончательный выбор лечения будет оставлен на усмотрение врача и пациента, которые будут принимать решение на основе критериев, не учитываемых моделью AI. Например, врач может выбрать лечение, потому что у него больше опыта с ним.
  • Помимо общей оценки, модель оценки, вероятно, также содержит дополнительные сведения о методах лечения, которые могут быть отображены, чтобы помочь врачу сделать окончательный выбор, например, рейтинг побочных эффектов.

Заключение

Мы увидели, что полезная информация AI возникает не только из-за технического качества (высокая точность и точность), но и из-за опыта пользователей. UX может смягчить неизбежные технические ограничения и обеспечить полезную точность и точность. Для этого UX-дизайнерам необходимо учитывать точность и точность в свете потребностей пользователей и в контексте конкретного типа ИИ, будь то регрессия, классификация или что-то еще.

дальнейшее чтение

Если вы ищете вводные книги, вот несколько советов:

Создайте свою собственную нейронную сеть от Тарика Рашида - нежное путешествие, охватывающее концепции, математику и реализацию с использованием компьютерного языка Python.

Наука о данных для бизнеса Фостера Провоста и Тома Фосетта - отличное (но не очень мягкое) объяснение статистики и алгоритмов, связанных с регрессией и классификацией, а также строгие методы машинного обучения и тестирования качества - прочитав эту книгу, вы больше никогда не переобучаете модель.

И, наконец, вот две книги, которые дают общее представление о том, что искусственный интеллект означает для бизнеса и общества:

Машины прогнозирования: простая экономика искусственного интеллекта Аджая Агравала, Джошуа Ганса и Ави Голдфарба

Четвертая эпоха: умные роботы, сознательные компьютеры и будущее человечества Байрона Риза

Майкл Зулиани и Пол МакИнерни занимаются исследованием и проектированием пользовательского интерфейса в IBM Studios | Торонто. Приведенная выше статья носит личный характер и не обязательно отражает позицию, стратегию или мнение IBM.