Студенты колледжа, которым разрешили использовать искусственный интеллект на курсах академического письма, в основном применяли такие инструменты для мозгового штурма, поиска информации и редактирования, а не для полного написания эссе. К такому выводу пришли исследователи, проанализировав письменные работы и журналы общения с ChatGPT у учащихся Бостонского университета.
Исследование показало, что прямые просьбы к ChatGPT написать текст с нуля составляли лишь 18,6% из 290 проанализированных запросов. Чаще всего студенты просили помочь с правкой уже написанного — например, сократить предложения или изменить тон текста. Также популярными были запросы с просьбой объяснить учебные материалы, определить понятия и прояснить содержание академических текстов.
Итоговые работы тоже показали сдержанное использование генеративного ИИ. Более половины студентов, участвовавших в пилотной программе, вообще не включили в финальные версии эссе ни одного фрагмента, дословно сгенерированного машиной. Во всех 50 проанализированных работах только 8,2% общего объема текста были помечены как созданные искусственным интеллектом, хотя преподаватели разрешали использовать до 50% такого материала.
Даже когда студенты вставляли фрагменты из ChatGPT, это редко были целые абзацы. Только около 6% отмеченного ИИ-текста представляли собой крупные вставки. В большинстве случаев учащиеся встраивали в собственный текст небольшие машинно-сгенерированные фразы, чаще всего для обсуждения, анализа и синтеза идей.
Как проходило исследование
Работа была организована на вводных курсах по письму и исследовательской работе в Бостонском университете. Эти секции были созданы как пилотные, чтобы опробовать интеграцию ИИ в обучение. Все студенты получили подписку на ChatGPT Plus, а преподаватели проводили занятия по техническим основам использования инструмента и его этическим аспектам, включая выявление предвзятости и проверку цифровых источников.
Вместо запрета на использование ИИ преподаватели разрешили сдавать работы, содержащие до половины машинно-сгенерированного текста. При этом студентов обязали выделять синим цветом все фрагменты, дословно созданные через чат-интерфейс. Небольшие грамматические правки отмечать не требовалось.
После окончания семестра исследователи получили эссе 50 студентов. Из них 34 участника также предоставили журналы переписки с ChatGPT, отражающие процесс подготовки черновиков. Около четверти участников указали, что изучают английский как иностранный язык.
Затем команда обезличила все материалы и провела тематический контент-анализ, распределяя запросы и текст по функциональным категориям, таким как мозговой штурм, редактирование и прямое написание. Для повышения эффективности исследователи использовали большую языковую модель как дополнительного оценщика наряду с экспертами-людьми и зафиксировали высокий уровень согласованности в классификации журналов чатов.
Когда и зачем студенты обращались к ИИ
Анализ показал, что взаимодействие с ChatGPT обычно развивалось поэтапно. В начале работы над заданием студенты чаще просили помочь с планированием и поиском источников. Запросы на непосредственное создание текста, как правило, появлялись только в последней четверти сессии общения. Это указывает на то, что прямое генерирование текста происходило после длительной работы над более традиционными этапами подготовки черновика.
В целом студенты гораздо чаще обращались к ИИ за советом, ресурсами и объяснениями, чем за готовыми фрагментами текста. По мнению исследователей, это говорит о выборочном использовании инструмента как вспомогательного средства в учебном процессе.
Различия между носителями и неносителями английского
Исследование также выявило заметные различия между студентами, для которых английский не является родным, и носителями языка. Ожидалось, что иностранные студенты будут чаще использовать ИИ для прояснения сложных академических текстов, однако результаты показали обратное.
Запросы на понимание и разъяснение оказались наименее распространенным типом обращений среди студентов, изучающих английский как иностранный. Носители языка просили объяснить понятия в семь раз чаще, чем их международные однокурсники. В то же время неносители примерно вдвое чаще использовали чат для помощи в редактировании собственного текста и чаще начинали диалог с просьбы дать обратную связь по уже написанному.
Эти различия проявились и в итоговых эссе. Студенты, для которых английский не является родным, включали в свои работы меньше машинно-сгенерированных фрагментов, чем носители языка. Кроме того, носители английского заметно чаще просили программу делать краткие пересказы академических источников для последующего использования в работах, тогда как иностранные студенты почти не прибегали к такой функции.
По оценке исследователей, эти результаты ставят под сомнение представление о том, что неносители языка особенно сильно зависят от программ для письма. Полученные данные показывают, что они использовали ИИ прежде всего для решения конкретных языковых задач, например для улучшения структуры предложений, а не для базового понимания материала.
Ограничения исследования
Авторы отмечают, что участие в сборе данных после семестра было добровольным, поэтому 50 студентов, согласившихся предоставить свои работы, могут не отражать всю совокупность первокурсников. Не исключено, что те, кто испытывал трудности на курсе или активно полагался на автоматическое письмо недопустимым образом, предпочли не участвовать.
Еще одним ограничением стало требование к студентам самостоятельно помечать сгенерированный текст синим цветом. Участники могли делать это непоследовательно или забывать отмечать предложения, вдохновленные ответами чата. Тем не менее преподаватели регулярно обсуждали с ними черновики, что, по мнению исследователей, повышает достоверность собранных данных.
Авторы считают, что дальнейшие исследования с более крупными выборками помогут проверить, сохраняются ли выявленные языковые модели в более широком масштабе. Они также отмечают, что интервью со студентами могли бы точнее объяснить, почему неносители английского реже используют чат-ботов для понимания академического чтения.
Исследование опубликовано в Journal of Writing Research.
