Современные системы искусственного интеллекта впервые смогли пройти тест Тьюринга, показало исследование, опубликованное в журнале Proceedings of the National Academy of Sciences. Авторы работы из Калифорнийского университета в Сан-Диего пришли к выводу, что большие языковые модели в коротких текстовых беседах могут быть неотличимы от человека.
Лучший результат в эксперименте показала GPT-4.5: участники принимали ее за человека в 73% случаев. Второй стала LLaMa-3.1-405B от Meta с результатом 56%. GPT-4o получила 21%, а ELIZA — 23% случаев, в которых ее считали человеком.
Как проходил эксперимент
В исследовании проверяли четыре языковые модели: GPT-4.5 и GPT-4o от OpenAI, LLaMa-3.1-405B от Meta и ELIZA — одного из первых чат-ботов, созданного в середине 1960-х годов профессором Массачусетского технологического института Джозефом Вейценбаумом.
Для эксперимента привлекли 284 участников: 158 человек были набраны онлайн, еще 126 — из психологической выборки UC San Diego. Каждый раунд представлял собой пятиминутную текстовую беседу, в которой «допросчик» одновременно общался с человеком и ИИ, а затем должен был определить, кто из собеседников был человеком, а кто — машиной, и объяснить свой выбор.
Каждый участник прошел восемь раундов: в половине случаев он выступал как допросчик, в другой половине — как свидетель. Победой считался случай, когда участника или модель выбирали как человека. Всего исследователи проанализировали 1 023 игры.
Что означают результаты
По оценке исследователей, результаты показывают, что нынешние ИИ-системы могут эффективно имитировать людей в кратких взаимодействиях. Одновременно это ставит под вопрос, насколько сам тест Тьюринга остается надежной мерой интеллекта.
Авторы отмечают, что тест Тьюринга долгое время рассматривался как способ оценки машинного интеллекта, но одновременно он показывает, как люди отличают других людей от машин. По их мнению, столь высокие результаты моделей создают новые трудности для понимания того, что именно измеряет этот тест.
Почему это важно
Тест Тьюринга восходит к статье британского математика Алана Тьюринга Computing Machinery and Intelligence, опубликованной в октябре 1950 года в журнале MIND. В ней был предложен «игровой» способ оценивать, может ли машина мыслить или по крайней мере убедительно имитировать человеческий интеллект в естественном языке. Этот подход используется уже более 75 лет.
Исследователи предупреждают, что способность ИИ правдоподобно выдавать себя за человека имеет непосредственное социальное и экономическое значение. Среди возможных последствий они называют вытеснение рабочих мест, замещение реального социального взаимодействия, влияние на людей со стороны тех, кто контролирует ИИ, а также подрыв ценности настоящего человеческого общения.
По их оценке, преодоление этого рубежа будет иметь последствия для онлайн-безопасности и доверия в цифровой среде. При этом исследователи подчеркивают, что даже после первого успешного прохождения теста Тьюринга у людей остается возможность искать новые способы отличать себя от систем, обученных их имитировать.
