Такер Дэйви
Когда Apple выпустила свое программное приложение Siri в 2011 году, пользователи iPhone возлагали большие надежды на своих интеллектуальных личных помощников. Тем не менее, несмотря на свои впечатляющие и растущие возможности, Siri часто ошибается. Несовершенства программного обеспечения подчеркивают явные ограничения современного ИИ: сегодняшний машинный интеллект не может понять разнообразные и меняющиеся потребности и предпочтения человеческой жизни.
Однако эксперты считают, что по мере развития искусственного интеллекта разумные машины в конечном итоге — и, вероятно, скоро — будут понимать мир лучше, чем люди. Хотя может быть легко понять, как и почему Siri совершает ошибку, выяснить, почему сверхразумный ИИ принял такое решение, будет гораздо сложнее.
Если люди не могут понять и оценить эти машины, как они будут их контролировать?
Пол Кристиано, доктор философии. студент факультета информатики Калифорнийского университета в Беркли работал над решением этой проблемы. Он считает, что для обеспечения безопасного и полезного ИИ исследователи и операторы должны научиться измерять, насколько хорошо интеллектуальные машины выполняют то, что хотят люди, даже если эти машины превосходят человеческий интеллект.
Самый очевидный способ контролировать разработку системы искусственного интеллекта также оказывается трудным. Как объясняет Кристиано: «Один из способов, с помощью которого люди могут сообщить о том, что они хотят, — это потратить много времени на изучение небольшого решения, принятого [ИИ], и попытаться оценить, насколько хорошим было это решение».
Но хотя это теоретически возможно, у исследователей-людей никогда не будет времени или ресурсов для оценки каждого решения, принятого ИИ. «Если вы хотите сделать хорошую оценку, вы можете потратить несколько часов на анализ решения, которое машина приняла за одну секунду», — говорит Кристиано.
Например, предположим, что шахматист-любитель хочет понять предыдущий ход лучшего шахматиста. Просто потратить несколько минут на оценку этого хода будет недостаточно, но если она потратит несколько часов, то сможет рассмотреть все альтернативы и развить осмысленное понимание ходов лучшего игрока.
К счастью для исследователей, им не нужно оценивать каждое решение, которое принимает ИИ, чтобы быть уверенными в его поведении. Вместо этого исследователи могут выбирать «самые интересные и информативные решения машины, когда получение обратной связи максимально уменьшит нашу неопределенность», объясняет Кристиано.
«Скажем, ваш телефон сообщил вам о событии в календаре, пока вы разговаривали по телефону, — уточняет он, — это событие не аналогично ничему другому, что он делал раньше, поэтому неизвестно, хорошо оно или плохо». Из-за этой неопределенности телефон отправлял расшифровку своих решений, например, оценщику в Google. Оценщик должен был изучить стенограмму, спросить владельца телефона, как он относится к пингу, и определить, является ли пингование пользователей во время телефонных звонков желательным или нежелательным действием. Предоставляя эту обратную связь, Google обучает телефон, когда он должен прерывать пользователей в будущем.
Этот активный процесс обучения является эффективным методом обучения ИИ для людей, но что происходит, когда людям необходимо оценить ИИ, которые превосходят человеческий интеллект?
Рассмотрим компьютер, который осваивает шахматы. Как человек может дать адекватную обратную связь компьютеру, если человек не освоил шахматы? Человек может критиковать ход, сделанный компьютером, только для того, чтобы позже понять, что машина была права.
Со все более интеллектуальными телефонами и компьютерами неизбежно возникнет аналогичная проблема. В конце концов, объясняет Кристиано, «нам нужно справиться со случаем, когда системы искусственного интеллекта превосходят человека практически во всем».
Если телефон знает о мире гораздо больше, чем его люди-оценщики, то оценщики не могут доверять их человеческим суждениям. Им нужно будет «заручиться поддержкой других систем ИИ», объясняет Кристиано.
Когда телефон пингует пользователя во время разговора, реакция пользователя на это решение имеет решающее значение для определения того, будет ли телефон прерывать пользователей во время будущих телефонных вызовов. Но, как утверждает Кристиано, «если более продвинутая машина намного лучше, чем пользователи-люди, понимает последствия прерываний, то, возможно, было бы плохой идеей просто спросить человека: «Должен ли телефон прервать вас прямо сейчас?» человек может выразить раздражение по поводу прерывания, но машина может знать лучше и понять, что это раздражение необходимо для того, чтобы жизнь пользователя шла гладко.
В таких ситуациях Кристиано предлагает, чтобы оценщики-люди использовали другие интеллектуальные машины для выполнения черновой работы по оценке решений ИИ. На практике менее способная Система 1 будет отвечать за оценку более способной Системы 2. Несмотря на то, что Система 2 умнее, Система 1 может быстро обрабатывать большой объем информации и может понять, как Система 2 должна пересмотреть свое поведение. Тренеры-люди по-прежнему будут вносить свой вклад и наблюдать за процессом, но их роль будет ограничена.
Этот процесс обучения поможет Google понять, как создать более безопасный и интеллектуальный ИИ — Систему 3, — которую исследователи-люди смогут затем обучить с помощью Системы 2.
Кристиано объясняет, что эти интеллектуальные машины будут похожи на маленьких агентов, выполняющих задачи для людей. У Siri уже есть эта ограниченная способность получать информацию от человека и выяснять, чего он хочет, но по мере развития технологии ИИ машины будут учиться выполнять сложные задачи, которые люди не могут полностью понять.
Поскольку Google и другие технологические компании продолжают улучшать свои интеллектуальные машины с каждой оценкой, инструкторы-люди будут играть меньшую роль. В конце концов, объясняет Кристиано, «фактически это просто одна машина, оценивающая поведение другой машины».
В идеале, «каждый раз, когда вы строите более мощную машину, она эффективно моделирует человеческие ценности и делает то, что хотелось бы людям», — говорит Кристиано. Но он опасается, что эти машины могут отклониться от человеческих ценностей, поскольку они превосходят человеческий интеллект. Говоря человеческим языком: сложная разумная машина будет напоминать большую организацию людей. Если организация выполняет задачи, которые слишком сложны для понимания каждым отдельным человеком, она может преследовать цели, которые людям не нравятся.
Чтобы решить эти проблемы управления, Кристиано работает над сквозным описанием этого процесса машинного обучения, конкретизируя ключевые технические проблемы, которые кажутся наиболее актуальными». Его исследование поможет укрепить понимание того, как люди могут использовать системы ИИ для оценки поведения более продвинутых систем ИИ. Если его работа увенчается успехом, это станет важным шагом в создании надежного искусственного интеллекта.
Вы можете узнать больше о работе Пола Кристиано здесь.
Эта статья является частью серии Будущее жизни о грантах на исследования в области безопасности ИИ, которые финансировались за счет щедрых пожертвований Илона Маска и проекта Open Philanthropy.
Первоначально опубликовано на сайте futureoflife.org 26 октября 2016 г.
