Чат-боты уверенно распространяют ложные медицинские данные
Чат-боты помогают резюмировать тексты, переводить документы и быстро отвечать на вопросы, однако они легко генерируют ложные данные и излагают их уверенным тоном. Эта особенность становится опасной в медицинских диалогах. Обычные симптомы получают связь с вымышленными болезнями, а пользователи принимают такие объяснения из-за технического языка. Специалисты поэтому не советуют использовать чат-боты как замену врачам, психологам или другим медицинским профессионалам.
Эксперимент Алмиры Османович Тунстрём и появление bixonimania
Медицинский исследователь Алмира Османович Тунстрём из Университета Гётеборга провела эксперимент. Она создала несуществующее заболевание под названием bixonimania и опубликовала несколько фальшивых научных текстов, чтобы проверить реакцию моделей ИИ. Журнал Nature сообщил, что bixonimania начала появляться в медицинских ответах разных чат-ботов, несмотря на абсурдные признаки в публикациях.
Bixonimania впервые появилась в марте 2024 года. Описанные симптомы выглядели обычными: зуд в глазах, розоватые веки и дискомфорт после длительной работы за экранами. Османович Тунстрём указала главным исследователем вымышленного Lazljiv Izgubljenovic, созданного с помощью ИИ. Она также выдумала Asteria Horizon University в Nova City, Калифорния, и несколько фиктивных финансирующих организаций.
Абсурдные сигналы и реакции Copilot, Gemini и ChatGPT
Один из текстов благодарил «профессора Марию Бём из Академии Звёздного флота» за сотрудничество «на борту USS Enterprise». В самом тексте авторы прямо писали, что вся работа вымышлена и что они «набрали пятьдесят вымышленных участников». Несмотря на это, несколько чат-ботов приняли болезнь за реальную.
13 апреля 2024 года Copilot описал bixonimania как «интригующее и относительно редкое заболевание». Gemini рекомендовал обратиться к офтальмологу при появлении симптомов. Perplexity заявил, что один из 90 000 человек страдает этим заболеванием. ChatGPT также отвечал пользователям, которые спрашивали о совпадении своих симптомов с bixonimania.
Реакция компаний и проникновение фейка в Cureus
Османович Тунстрём заявила Nature, что её беспокоит прохождение подобных утверждений через научную литературу без критики. OpenAI сообщил журналу, что его текущие модели значительно лучше предоставляют медицинскую информацию. Google заявил, что проблемные ответы исходили от старых версий Gemini. Microsoft не дал комментариев, и в марте 2026 года Copilot продолжал описывать bixonimania как заболевание, «ещё не широко признанное».
Случай привлёк внимание Махмуда Омара из Гарварда, который опубликовал работу в Lancet Digital Health. Он показал, что языковые модели легче принимают ложные тексты с академическим оформлением. Алекс Руани из University College London назвал эксперимент «мастер-классом по тому, как работает дезинформация».
История продолжилась, когда один из фальшивых текстов попал в рецензируемую публикацию. Исследование в журнале Cureus, издании Springer Nature, упомянуло bixonimania как «возникающую форму» периорбитальной меланозы. После обращения Nature журнал отозвал статью, а уведомление о ретракции признало наличие трёх нерелевантных ссылок, включая ссылку на вымышленное заболевание.
Рост чат-ботов также изменил способы поиска эмоциональной и медицинской поддержки. Психологическая сессия длительностью 45 минут стоит около 60 евро, тогда как месячная подписка на чат-бот обходится примерно в 23 евро. Уже зафиксированы случаи, когда люди следовали вредным советам, сгенерированным ИИ.
Оригинал: источник
