Языковые модели способны надежно переписывать и улучшать деловые документы только при очень точных инструкциях. Без четких указаний инструменты искусственного интеллекта нередко вносят фактические ошибки и неудачные формулировки, поэтому профессиональные редакторы по-прежнему остаются необходимыми в рабочей коммуникации. К такому выводу пришло исследование, опубликованное в Journal of Writing Research.
Исследователи сравнили работу ChatGPT с правками опытных профессиональных редакторов на примере четырех нидерландских деловых писем. Документы касались, в частности, политики отпуска по беременности и родам, выплат по болезни и планирования. Целью было выяснить, может ли система воспроизвести редакторскую работу, которая требует учета контекста организации, особенностей аудитории и корпоративного тона.
В первой части эксперимента участвовали три профессиональных редактора с опытом более 20 лет. Им предложили сделать тексты «хорошими». Ученые записывали экраны компьютеров во время работы, а затем провели интервью по методу стимулированного воспоминания, чтобы выяснить, чем руководствовались редакторы. Те последовательно улучшали тон писем, заменяли формальный жаргон на более понятный язык и перестраивали тексты так, чтобы наиболее важная информация находилась в начале.
Во второй части те же письма переписывал ChatGPT по трем разным инструкциям. Первая была намеренно простой: сделать текст «ориентированным на читателя». Вторая требовала переписать письмо на языковом уровне B1, то есть на уровне, соответствующем массовым коммуникациям. Третья представляла собой специальную восьмишаговую инструкцию, составленную по образцу редакторского процесса, который описали участники исследования.
Оценка показала, что редакторы заметно повысили читаемость исходных писем. Они использовали более короткие предложения, активные глаголы и чаще вводили личные местоимения вроде «вы» и «мы». При этом их версии не содержали фактических ошибок и сохраняли юридический смысл документов.
Результаты ChatGPT существенно зависели от формулировки задания. Наилучший результат дала инструкция писать на уровне B1: в этом случае показатели читаемости оказались близки к человеческим правкам. Такой подход помогал сокращать сложные конструкции и упрощать лексику без изменения исходного смысла.
Простая инструкция сделать текст «ориентированным на читателя» показала слабый результат. Модель сохраняла сложные синтаксические конструкции, использовала малознакомые слова и, что важнее, добавляла ложную информацию. Так, в письме о выплатах, связанных с отпуском по беременности и больничным, система вставила поздравление работодателю с предстоящим расширением команды, неверно поняв контекст документа.
Восьмишаговая инструкция тоже уступила и варианту B1, и человеческим правкам. Хотя она улучшала визуальную структуру писем, в тексте появлялись несколько фактических ошибок, связанных с выплатой некоторых медицинских пособий. Исследователи отметили, что слишком большое количество разных задач в одном запросе могло мешать системе удерживать основную мысль.
Авторы исследования указали и на ограничения работы. Анализ строился на небольшом наборе деловых писем, тогда как требования к редактированию сильно различаются в зависимости от типа документа — например, новостного пресс-релиза или инструкции для потребителей. Кроме того, система генерировала ответы только с одной попытки, тогда как в реальной рабочей среде пользователи обычно уточняют запросы, перезапускают генерацию или дорабатывают черновик вручную.
Исследование также не проверяло совместную работу человека и алгоритма, а сравнивало их по отдельности. Авторы полагают, что дальнейшие работы будут посвящены именно таким гибридным сценариям. По их оценке, роль профессионального автора и редактора смещается от полного написания текста к курированию и направлению автоматически созданных черновиков.
Это, как отмечают исследователи, требует особого навыка — умения точно формулировать запросы к системе и проверять результат. Оценка текста, созданного ИИ, по-прежнему требует тех же компетенций, что и оценка человеческого письма, включая соответствие задаче и проверку фактов.
