Современные системы искусственного интеллекта впервые смогли пройти тест Тьюринга, показало исследование, опубликованное в журнале Proceedings of the National Academy of Sciences. Авторы работы из Калифорнийского университета в Сан-Диего пришли к выводу, что большие языковые модели способны в коротких текстовых беседах быть неотличимыми от человека.
По оценке исследователей, результаты показывают, что нынешние ИИ-системы могут эффективно имитировать людей в кратких взаимодействиях. Одновременно это ставит под вопрос, насколько сам тест Тьюринга остается надежной мерой интеллекта.
Как проходило исследование
В работе проверяли четыре языковые модели: GPT-4.5 и GPT-4o от OpenAI, LLaMa-3.1-405B от Meta и ELIZA — один из первых чат-ботов, созданный в середине 1960-х годов профессором Массачусетского технологического института Джозефом Вейценбаумом.
Для эксперимента исследователи привлекли 284 участников: 158 человек были набраны онлайн, еще 126 — из психологической выборки UC San Diego. Каждый раунд представлял собой пятиминутную текстовую беседу, в которой «допросчик» общался одновременно с человеком и ИИ, после чего должен был определить, кто из собеседников был человеком, а кто — машиной, и объяснить свой выбор.
Каждый участник прошел восемь раундов: в половине случаев выступал как допросчик, в другой половине — как свидетель. Победой считался случай, когда участника или модель выбирали как человека. Всего исследователи проанализировали 1 023 игры.
Какие модели показали лучшие результаты
Лучший результат показала GPT-4.5: ее принимали за человека в 73% случаев. На втором месте оказалась LLaMa с показателем 56%.
Менее успешными были более старые и менее продвинутые системы. GPT-4o получила 21%, а ELIZA — 23% случаев, в которых ее считали человеком.
По мнению авторов, столь высокие результаты моделей создают новые трудности для понимания того, что именно измеряет тест Тьюринга.
Почему это важно
Тест Тьюринга восходит к статье британского математика Алана Тьюринга «Computing Machinery and Intelligence», опубликованной в октябре 1950 года в журнале MIND. В ней был предложен «игровой» способ оценивать, может ли машина мыслить или по крайней мере убедительно имитировать человеческий интеллект в естественном языке. Этот подход используется уже более 75 лет.
Исследователи отмечают, что тест Тьюринга долгое время рассматривался как способ оценки машинного интеллекта, но одновременно он показывает, как люди отличают других людей от машин.
Авторы работы предупреждают, что способность ИИ правдоподобно выдавать себя за человека имеет непосредственное социальное и экономическое значение. Среди возможных последствий они называют вытеснение рабочих мест, замещение реального социального взаимодействия, влияние на людей со стороны тех, кто контролирует ИИ, а также подрыв ценности настоящего человеческого общения.
По их оценке, переход этого рубежа будет иметь последствия для онлайн-безопасности и доверия в цифровой среде. При этом исследователи подчеркивают, что даже после первого успешного прохождения теста Тьюринга у людей остается возможность искать новые способы отличать себя от систем, обученных нас имитировать.
