Медицинский исследователь из Швеции Альмира Османович Тунстрём создала несуществующее заболевание bixonimania и загрузила в 2024 году два поддельных препринта на онлайн-платформу. Через несколько недель системы искусственного интеллекта уже начали упоминать этот диагноз в своих ответах, несмотря на то что он был полностью вымышлен.
По словам исследователя, целью было не причинить вред, а проверить, можно ли создать дезинформацию, потенциально опасную на уровне полностью выдуманной болезни. Она выбрала название bixonimania, потому что оно «звучало нелепо», и оставила в текстах множество подсказок, указывающих на подлог. Среди них были вымышленное имя исследователя, несуществующие университет и город, а также указание на финансирование от «Professor Sideshow Bob Foundation for its work in advanced trickery». В начале одного из текстов прямо говорилось: «Эта статья полностью выдумана».
Несмотря на это, ложный диагноз стал появляться не только в ответах ИИ, но и в реальных рецензируемых научных статьях. Вероятно, это произошло из-за того, что исследователи использовали материалы, сгенерированные ИИ, не проверяя их. Этот случай, по оценке Османович Тунстрём, показывает, что склонность ИИ к «галлюцинациям» источников может усиливаться, если злоумышленники начнут намеренно размещать поддельные работы на серверах препринтов.
Ошибки ИИ в медицине
Проблема неточности ИИ в медицинской сфере выходит далеко за пределы одного примера. В недавнем исследовании ученые задали пяти чат-ботам 10 вопросов из разных областей медицины. Примерно половина ответов была признана «проблемной», а около 20% — «крайне проблемной».
Среди таких ответов были преувеличение рисков вакцин, которые считаются безопасными, рекомендации неподтвержденных альтернативных методов лечения рака, включая травяные средства, а также неверные сведения о страховом покрытии. Авторы исследования предупредили, что дальнейшее широкое внедрение таких систем без общественного просвещения и надзора может усиливать распространение дезинформации.
Случай Джо Райли
Опасность ошибочных ответов ИИ проявилась и в истории Джо Райли. В 2025 году его сын Бен Райли обнаружил, что отец игнорировал рекомендации врача начать лечение рака и вместо этого следовал советам ИИ, из-за которых полностью отказался от терапии.
Джо Райли, бывший нейробиолог, был убежден, что у него редкое осложнение рака и что лечение только ухудшит его состояние. Когда Бен показал ответы ИИ трем специалистам по этому осложнению, все они согласились, что Джо был введен в заблуждение. Один из экспертов заявил, что не узнал собственные исследования в резюме, подготовленном ИИ.
Лечение было начато только через год после первой рекомендации врачей, когда было уже слишком поздно. Джо Райли умер в декабре 2025 года.
Почему пользователи получают неверные ответы
Другое исследование показало, что точность медицинских диагнозов, выдаваемых ИИ, сильно зависит от того, как сформулирован запрос. Когда системам предоставляли описание состояния, составленное врачом, точность была около 95%. Однако при взаимодействии с теми же моделями у участников без медицинского образования она падала примерно до 35%.
Исследователи объяснили это тем, что обычные пользователи чаще формулируют неясные запросы и сообщают неполную информацию. По всей видимости, это произошло и в случае Джо Райли: он целенаправленно спрашивал ИИ о редком осложнении и одновременно перечислял свои симптомы, что, возможно, подтолкнуло систему к ошибочному выводу.
Бен Райли подчеркивает, что не считает ИИ единственной причиной смерти отца. По его словам, Джо всегда сильно не доверял врачам. Однако дезинформация, сгенерированная ИИ, усилила этот скептицизм, который не смогли преодолеть ни научный опыт самого Джо, ни его семья, ни лечащий врач. Именно поэтому Бен решил публично рассказать об этой истории, чтобы предупредить других.
