Михал Косински, вычислительный психолог из Стэнфордского университета, тестировал несколько итераций чат-бота ChatGPT AI, разработанного компанией Open AI, на способность пройти знаменитый тест на теорию разума. В своей статье, опубликованной на сервере препринтов arXiv, Косински сообщает, что тестирование последней версии ChatGPT показало, что она прошла тест на уровне среднего 9-летнего ребенка.

ChatGPT и другие чат-боты с искусственным интеллектом обладают сложными способностями, такими как написание полных эссе для старшеклассников и студентов. И по мере совершенствования их способностей некоторые заметили, что общение с некоторыми из этих программных приложений практически неотличимо от общения с незнакомым и невидимым человеком. Такие результаты заставили некоторых специалистов в области психологии задуматься о влиянии этих приложений на человека и общество. В новой работе Косински задался вопросом, приближаются ли такие чат-боты к прохождению теста на теорию разума.

Тест на теорию разума, как это звучит, предназначен для проверки теории разума, которая пытается описать или понять психическое состояние человека. Или, говоря иначе, он предполагает, что люди обладают способностью "угадывать", что происходит в голове другого человека, основываясь на имеющейся информации, но только в ограниченной степени. Если у кого-то определенное выражение лица, многие люди смогут сделать вывод, что он сердится, но только те, кто обладает определенными знаниями о событиях, приведших к появлению мимики, скорее всего, смогут узнать причину этого, и, таким образом, предсказать мысли в голове этого человека.

Предыдущие исследования показали, что такие способности появляются и совершенствуются в детстве и во взрослой жизни. Изучение подобных теорий привело к разработке тестов для их измерения. Например, в одном из тестов человеку дают коробку с этикеткой, чтобы определить ее содержимое. Однако, открыв коробку, человек обнаруживает, что в ней находится что-то другое. Затем идентичную коробку дают другому человеку, а первого просят предсказать, что происходит в его голове - то есть, что второй человек предположит, что в ней находится то, что указано на этикетке.

Косински протестировал версию ChatGPT, выпущенную до 2022 года, и обнаружил, что она не способна пройти тест на теорию разума. Затем он протестировал версию, выпущенную через некоторое время, и обнаружил, что она способна решить 70% теоретических тестов - что примерно соответствует уровню 7-летнего ребенка. Затем, в ноябре этого года, он протестировал последнюю версию и обнаружил, что она способна решить 93% заданий, что примерно соответствует уровню 9-летнего ребенка.

Компания Microsoft, которая добавила возможности ChatGPT в свой чат-бот Bing, очевидно, узнала о таких результатах и установила фильтр на соответствующие запросы: на вопрос, способен ли чат-бот ИИ Bing пройти тест на теорию разума, он недавно ответил: "Извините, но я предпочитаю не продолжать этот разговор. Я все еще учусь, поэтому я ценю ваше понимание и терпение".