Исследование, опубликованное в Nature Medicine, показало, что современные передовые модели искусственного интеллекта могут заметно терять стабильность при анализе медицинских изображений после небольших изменений во входных данных. Речь идет о рентгеновских снимках, КТ, МРТ, изображениях сетчатки и патоморфологических препаратах.
В ходе оценки модели сначала продемонстрировали хорошие результаты на стандартных тестах. Затем исследователи внесли небольшие изменения, которые не должны были менять клиническую сущность задачи: переписали запросы, добавили клинически несущественную информацию и внесли реалистичные изменения в медицинские изображения. Несмотря на то что диагноз должен был остаться прежним, работа моделей нередко становилась заметно менее устойчивой.
Что именно показало исследование
Авторы исследования описывают проблему как недостаточную робастность, то есть устойчивость системы к малым изменениям. Однако наблюдаемый эффект также можно рассматривать как проявление хрупкости: ситуации, в которых небольшие, иногда почти незаметные сдвиги вызывают непропорционально большие изменения в ответе модели.
Идея хрупкости ИИ связана с тем, что система может давать очень сильные ответы, но оставаться уязвимой к вариациям, которые незначительны для человека. Такой подход предлагает рассматривать хрупкость не только как технический недостаток, но и как свойство архитектуры подобных систем.
Чем человеческое восприятие отличается от ИИ
В повседневной жизни человек обычно сохраняет устойчивое понимание ситуации, даже когда условия восприятия кратковременно меняются. Например, водитель продолжает ориентироваться на дороге, когда солнечный свет пробивается сквозь деревья или обзор на мгновение перекрывает грузовик. Эти помехи воспринимаются как временные и не требуют заново выстраивать картину мира.
По тому же принципу действует и профессиональное восприятие. Радиолог, изучающий рентгеновский снимок, способен игнорировать небольшие колебания качества изображения. Хирург не теряет ориентир из-за краткого мерцания света в операционной. Человеческий интеллект в таких случаях сохраняет смысл и устойчивость, несмотря на постоянные изменения в сенсорной среде.
Современный ИИ, как показывает исследование, часто ведет себя иначе. Изменения, которые человек счел бы несущественными, могут заметно повлиять на вычисления и в итоге изменить результат. Хотя конкретные примеры различаются в зависимости от задачи, сам феномен выглядит достаточно последовательным.
Почему это важно
Наблюдаемая хрупкость может стать не просто еще одной метрикой для оценки ИИ, а способом лучше понять пределы его работы в изменчивой среде. Даже если модели продолжают улучшать показатели на бенчмарках, становятся быстрее, крупнее и информированнее, остается отдельный вопрос: становятся ли они при этом более стабильными, когда условия использования меняются.
Если дальнейшие исследования подтвердят ту же закономерность, хрупкость может оказаться не временным недостатком нынешних моделей, а одной из определяющих характеристик таких систем.
