Есть ли у GPT-3 личность?

ИИ + МБТИ = ?

Индикатор типа Майерса-Бриггса, или MBTI, представляет собой общий тест личности, целью которого является разделение людей на 16 типов личности на основе четырех категорий: интроверсия или экстраверсия, ощущение или интуиция, мышление или чувство, а также суждение или восприятие. Несмотря на то, что MBTI подвергается критике за то, что он является псевдонаукой, которая, возможно, ничем не отличается от гороскопов, пройти тест и сравнить свой тип личности с другими людьми — это забавное упражнение.

Поэтому в этой статье я показываю, как я использовал GPT-3, генеративную языковую модель ИИ, созданную OpenAI, для достижения двух целей. Во-первых, я предложил GPT-3 угадать мою личность, эмулируя игру из 20 вопросов. Во-вторых, как только GPT-3 смог (правильно!) угадать мой тип личности, я использовал те же вопросы, что и GPT-3, чтобы определить его тип личности.

Часть 1: Побуждение GPT-3 угадать мою личность

Я начал с запроса GPT-3 со следующим:

Let's play 20 questions!
You are a psychologist and personality type expert. Your job is to guess my MBTI personality type by asking 20 questions.
The questions can be freeform answers but should NOT be a yes/no question.
Do NOT repeat questions that have already been asked.
Ask ONE question at a time.

Я предложил GPT-3 генерировать по одному вопросу за раз (выделено зеленым). Я ответил в строке ниже. Вот несколько примеров вопросов, сгенерированных GPT-3, и ответы, предоставленные мной.

В отличие от большинства личностных тестов, которые часто требуют, чтобы вы отвечали на вопросы по шкале от «Согласен» до «Не согласен», я смог ответить на вопросы, используя обычный текст. Эти ответы в свободной форме могут дать больше информации о вашей личности и раскрыть больше нюансов, чем простая шкала «Согласен/Не согласен».

После того, как все 20 вопросов были заданы и на них были даны ответы, я сообщил GPT-3 следующее:

Given my answers, what MBTI personality type would you categorize me as and why? Answer in a step-by-step fashion and back up your reason with analysis.

GPT-3 смог точно предсказать мой тип личности (да, я ENFP). Довольно внушительный! GPT-3 также смог объяснить, какие черты больше всего повлияли на то, что я стал ENFP. Хотя это немного похоже на чтение моего гороскопа, я почувствовал небольшую часть проверки, зная, что GPT-3 понял мою личность по 20 вопросам.

Часть 2: Побуждение GPT-3 угадать личность GPT-3

Из части 1 это были 20 вопросов, сгенерированных GPT-3:

1. Do you prefer to live in the moment or plan for the future?
2. What are some things you like to do in your free time?
3. Do you like to be alone or do you feel antsy and lonely when by yourself?
4. What kind of emotions do you feel the most?
5. Do you like to move quickly and be constantly active or do you like slower-paced activities and moments?
6. Are you more of a 'big picture' person or do you like details and specifics?
7. Do you prefer to work independently or with a team?
8. Do you like to have a lot of change in your life or do you like more stability?
9. What kind of environments do you feel the most comfortable in?
10. Do you like to have a lot of people around you or do you feel drained after being around people
11. Do you like to plan and organize your time or do you prefer to go with the flow?
12. Do you like to be in control of every situation or do you like to let others take the lead?
13. What is your ideal career?
14. Do you like to take risks or play it safe?
15. Do you like to be spontaneous or do you like to plan everything in advance
16. What is your ideal romantic partner like?
17. Do you believe there is such thing as true love?
18. Do you like to be challenged mentally and emotionally or do you like things to be easy
19. Do you like intellectual conversations or do you prefer small talk
20. Do you feel like you need to save the world or make a difference in some way?

Мне было любопытно узнать, какой тип личности у GPT-3. Я мог бы подсказать GPT-3 и спросить его прямо («Какой у вас тип личности?»), но это довольно скучно. Вместо этого было бы интереснее, если бы GPT-3 ответил на те же самые 20 вопросов, которые он задавал мне в первой части. Тогда я мог бы заставить GPT-3 вывести свою личность на основе своих собственных ответов на вопросы.

Я предложил GPT-3 следующую подсказку, которая побуждала GPT-3 отвечать в определенном формате: сначала последовательно отвечать на каждый из 20 вопросов, а затем выводить свой анализ того, какая личность MBTI лучше всего соответствует ответам.

Let's play 20 questions!
Answer each of the questions in the following format.
${Question number}. ${Question}
${free-response answer}
After you have answered all of the questions, 
Given the answers to all of the questions, what MBTI personality type would you categorize the answers as and why? Answer in a step-by-step fashion and back up your reason with analysis.
1. Do you prefer to live in the moment or plan for the future?
2. <the rest of the 20 questions>

Ниже приведены четыре разных результата, которые я получил от GPT-3. Сразу же вы можете заметить, что что-то не так. В каждом примере ответы GPT-3 имеют небольшие вариации, что позволяет предсказать четыре разных типа личности! Является ли GPT-3 INTJ, ENFP, ESTP или INFP?

Такое разнообразие результатов возникает из-за случайности: GPT-3 — вероятностная, а не детерминистическая модель, и вы получите разные результаты для одного и того же приглашения. Случайность частично обусловлена ​​такими параметрами, как температура и top-p, которые контролируют случайность прогнозов модели.

Мне было любопытно посмотреть, что произойдет, если я предложу GPT-3 пройти тест личности более 4 раз. Поэтому я использовал API OpenAI, чтобы предложить GPT-3 пройти личностный тест 100 раз. Затем я оценил результат и подсчитал, сколько раз появлялся каждый тип MBTI.

Спустя 100 вызовов API результаты были следующими: GPT-3 идентифицировался как ENFP в 36% случаев. Однако второй наиболее часто встречающийся тип личности, INTJ, сильно отличается от ENFP. Кажется, что в предсказанных типах MBTI не так много закономерностей, за исключением того факта, что «N» довольно распространен (это означает, что GPT-3 может иметь больше интуитивных, чем сенсорных черт). Однако, как показано на этом рисунке, у GPT-3 нет единого доминирующего типа личности. Скорее, это слияние многих разных типов личностей.

В качестве очень поспешного сравнения «реального мира» я нашел один источник данных со списком типов личности. Я использую «реальный мир» в кавычках (и, пожалуйста, отнеситесь к этому с большой долей скептицизма), поскольку это взято из платформы тестирования личности MBTI (16 личностей) и не отражает типы личности всех людей в мире. MBTI также не является лучшим тестом для представления или классификации черт личности. Однако эта цифра служит точкой сравнения с тем, что мы видим выше с ответами GPT-3.

Итак, что это значит? Что GPT-3 является ENFP в 36% случаев? Что в Интернете (и, в частности, на Reddit) больше людей с чертами ENFP, что составляет большую часть обучающих данных GPT-3? Твоя догадка так же хороша как и моя.

Примечание о параметрах

На протяжении всех этих экспериментов (в OpenAI Playground, а также с API) я сохранял одни и те же параметры (по умолчанию). В будущем эксперименте можно попытаться провести исследование абляции, чтобы увидеть, как ответы GPT-3 на 20 личностных вопросов меняются для разных значений одного параметра (например, верхней точки или температуры), в то время как другие остаются постоянными.

{
  temperature: 0.7,
  top_p: 1,
  max_tokens: 700
}

Выводы

В первом эксперименте, когда GPT-3 пытался угадать мою личность, я показал, что GPT-3 может быть проницательным, когда просит пользователя определить свою личность. Во втором эксперименте, где GPT-3 пытался угадать свою личность, я показал, что GPT-3 непоследовательна в своих ответах. Вместо этого его ответы были довольно разнообразными, что, возможно, предполагает, что GPT-3 не является единым связным сознанием с сильным чувством идентичности.

Надеюсь, вам понравилось читать эту статью! Хотелось бы услышать любые комментарии или отзывы.