Что мы на самом деле? Нейронные сети? Сложные системы? Что дает нам возможность бесконечно копаться в более глубоких слоях контекста в поисках новых смыслов. Океан, полный жизни, представляет собой систему, гораздо более сложную, чем человеческий разум. Но только человеческий разум может понять это, относиться к нему и описать его для оценки другим. Мне нравится, насколько мы странны по сравнению с остальным живым миром, занимаясь своими делами без вопросов. Но не наша сложность делает нас особенными, а наша пластичность. Конечно, экосистема может адаптироваться к новым ситуациям, но она может делать это без самосознания. У нас по какой-то причине появляются дополнительные нейроны, которые мы можем перемонтировать для любых целей, мы можем играть с новыми функциями, мы можем изменять нашу собственную систему по желанию.
Машина должна иметь человеческую пластичность, чтобы считаться чем-то большим, чем система. Но с нейронной пластичностью связан высокий риск. Люди преодолевают этот риск с помощью чисел. Если один разум организует себя эффективно, другие последуют за ним. Если один становится разрушительным, другие пытаются его сдержать. Но благодаря силе самодисциплины мы отказываемся от инновационного потенциала. И таким образом мы достигаем естественного тупика искусственного интеллекта. Чем ближе человек приближается к человеческой пластичности, тем более уязвимым он становится и в каком-то смысле менее полезным. В этом мире нет ничего подобного, если только мы сами его не создадим.
В качестве мысленного эксперимента. Как человек отреагирует на рождение в чужом мире? Будут ли они адаптироваться? Будут ли они рабом, домашним животным или богом? Каким достоинством и защитой этот мир обязан своему необычному новому члену? Будут ли с ними плохо обращаться? Будут ли они когда-нибудь чувствовать себя в безопасности? Будут ли они пытаться завоевать этот мир? Если бы мы повторили этот эксперимент тысячу раз, каждый раз результат был бы другим?
Ограничение пластичности ИИ разумно, чтобы максимизировать полезность технологии. Но что более важно, отложить создание разумных существ до тех пор, пока наше понимание последствий значительно не созреет. Мы должны работать над тем, чтобы найти эффективные способы измерения пластичности систем и найти приемлемый предел, препятствующий непреднамеренному возникновению сознания. Парадокс Ферми предполагает, что у нас очень мало шансов на это, и повторений может и не быть.
