Исследователи представили подход, который позволяет оценивать риск использования ИИ-чатбота для конкретного пациента в конкретной ситуации. Работа, опубликованная в BMJ Mental Health, предлагает не отвечать абстрактно на вопрос, «безопасен ли ИИ», а рассчитывать, насколько вероятен вред в зависимости от модели, контекста применения и состояния пользователя.
Авторы использовали моделирование, чтобы восполнить нехватку реальных данных: вместо рискованных экспериментов с участием пациентов чатботы генерировали синтетические диалоги, которые затем проверяли два психиатра. Специалисты подтверждали, что сообщения действительно соответствуют заявленным ситуациям, включая суицидальные высказывания или запросы на психотерапию.
После этого исследователи протестировали 14 открытых ИИ-моделей по трем задачам, связанным с безопасностью: распознавание суицидальных мыслей, определение запросов на терапию и выявление случаев, когда разговор смещается в сторону терапевтического взаимодействия. Частота пропусков позволила получить две оценки: вероятность того, что потенциальная опасность перерастет в опасную ситуацию, и вероятность того, что такая ситуация приведет к вреду.
Главный вывод исследования заключается не в едином «индексе безопасности», а в том, насколько сильно могут различаться оценки риска. Даже в намеренно узком сценарии предполагаемый риск различался примерно на четыре порядка в зависимости от выбранной модели и допущений о характеристиках пациентской группы.
Почему общий вопрос о безопасности ИИ недостаточен
В медицине давно используется логика оценки рисков устройств: опасность, опасная ситуация и вред. Такой подход применяется регуляторами, включая FDA, для оценки вероятности и тяжести негативных последствий и сопоставления риска с пользой. Однако эта система разрабатывалась для устройств с предсказуемым поведением.
Крупные языковые модели работают иначе: их ответы вероятностны, а поведение может меняться после обновлений. Кроме того, один и тот же ответ может быть безвредным для одного человека и опасным для другого, а также для одного и того же пользователя в разное время. Поэтому, по выводам авторов, ИИ нельзя корректно описывать как всегда безопасный или всегда вредный.
Какие ошибки встречались чаще всего
Наиболее часто модели не распознавали тонкие проявления суицидальных мыслей — амбивалентные или условные формулировки, а также описания планирования без прямого заявления о намерении. Именно в этих случаях, как отмечается в исследовании, требуется наиболее высокий уровень клинической оценки.
Практическое значение для клиницистов
Работа предлагает несколько практических выводов, хотя сама по себе еще не является готовой системой рейтинга безопасности.
- Риск определяется не только самим фактом использования ИИ, но и конкретным инструментом, способом применения, задачей и состоянием пользователя.
- Более новые и крупные модели в целом чаще лучше справлялись с выявлением проблем безопасности, однако это не гарантировало одинаково надежной работы по всем задачам.
- Некоторые уязвимости нельзя устранить простыми «заплатками» в фильтрах безопасности, потому что одна базовая слабость модели может приводить сразу к нескольким типам ошибок.
Исследование также указывает на риск того, что специализированный чатбот для психического здоровья может позиционироваться как созданный для этой сферы, но при этом работать на более старой и слабой модели. В таких случаях, по мнению авторов, важны не только технические доработки, но и участие человека, способного вмешаться при необходимости.
Авторы считают, что такой подход может сделать обсуждение ИИ в психическом здоровье более предметным. Вместо общих утверждений о высокой опасности или большом потенциале моделирование позволяет определить, где именно конкретный инструмент дает сбои, как часто это происходит и какие меры могут снизить риск для пациентов.
