Искусственный интеллект в медицинской организации: риски использования ИИ-сервисов и рекомендации по безопасной цифровизации

Искусственный интеллект (ИИ) стремительно вошел в повседневную работу медицинских организаций. Сегодня нейросети используют для поиска информации, подготовки текстов, анализа данных, составления отчетов и даже подготовки юридических документов.

Может показаться, что ИИ существенно упрощает работу клиники, руководителя и сотрудников. Однако при его использовании важно учитывать не только кажущиеся очевидными преимущества, но и риски.

В статье разберем, какие угрозы могут возникать при использовании ИИ-сервисов, как снизить связанные с ними риски и почему для управления качеством и безопасностью медицинской деятельности необходимы специализированные цифровые решения.

Генеративные модели помогают экономить время при выполнении рутинных задач: поиске и структурировании информации, подготовке черновиков материалов для сайта, социальных сетей, презентационных и аналитических материалов. Кто-то использует ИИ при взаимодействии с пациентами: для ответов в соцсетях, обработки онлайн-обращений и отзывов, а также подготовки ответов на претензии и жалобы.

И может сложиться впечатление, что это отличное, а самое главное — универсальное решение на все случаи жизни клиники. Это заблуждение. Мы не будем углубляться в особенности работы с ИИ: качество результата зависит от исходных данных, корректности запроса, полноты контекста и способности пользователя критически оценить полученный ответ.

Именно поэтому при использовании искусственного интеллекта важно учитывать не только его возможности, но и связанные с ним риски.

Риск трансграничной передачи данных

Для медицинской организации персональные данные (ПДн) и врачебная тайна — это зона максимальной ответственности. Использование облачных ИИ-сервисов, особенно зарубежных или не имеющих четкой локализации в РФ, таит в себе ловушку.

Согласно п. 11 ст. 3 Федерального закона № 152-ФЗ «О персональных данных», трансграничная передача — это передача данных на территорию иностранного государства. Роскомнадзор квалифицирует использование многих ИИ-сервисов именно так, и вот почему:

1. Физическое перемещение данных: когда вы вводите в ИИ-чат обезличенный (или, что хуже, идентифицируемый) случай из практики, запрос уходит на серверы провайдера. Если эти серверы находятся за рубежом, факт передачи уже состоялся.
2. Доступ иностранного лица: компания-разработчик ИИ получает техническую возможность обрабатывать эти данные для «дообучения» своей модели.

Риск недостоверной информации и отсутствия доказательной базы

Одной из особенностей генеративных моделей являются так называемые галлюцинации — ситуации, когда нейросеть формирует убедительный, но недостоверный ответ.ИИ может ссылаться на несуществующие документы, ошибочно трактовать нормы права или делать выводы, которые не подтверждаются фактическими данными.

Для медицинской организации такая ошибка может привести к неверным управленческим решениям, претензиям пациентов или вопросам со стороны контролирующих органов.

Результат работы нейросети обычно представляет собой готовый текст без возможности проследить логику его формирования.

Если возникает спор или проверка, медицинской организации необходимо подтвердить источник информации, обоснованность выводов и последовательность принятых решений. Сделать это на основании ответа чат-бота практически невозможно.

Риски использования ИИ наглядно показывает судебная практика. Хотя дело не связано с медициной, механизм ответственности абсолютно идентичен.

Определение Арбитражного суда Западно-Сибирского округа от 14 мая 2026 г. по делу № А27-7831/2025.

Компания-ответчик, защищаясь от иска о взыскании задолженности, подала кассационную жалобу. Для усиления позиции представитель компании использовал ИИ для подготовки текста жалобы. Нейросеть сгенерировала убедительный текст, подкрепив его «цитатами» и реквизитами постановлений Верховного Суда, Высшего Арбитражного Суда и окружных судов.

Что выяснил суд: проверка показала, что часть указанных судебных актов никогда не существовала — ИИ их «галлюцинировал», то есть выдумал. Другие акты существовали, но касались совершенно иных споров (например, таможенных нарушений), а цитаты в них были полностью сфальсифицированы.

Вердикт суда: суд расценил это как грубейшее проявление неуважения к правосудию и обман. Компания была оштрафована на 50 000 рублей.

Самое главное звучит в мотивировочной части определения: суд отверг довод о том, что текст был создан с помощью искусственного интеллекта. Судья прямо указал: «Ответственность за достоверность сгенерированного текста несет лицо, участвующее в деле, использовавшее указанную технологию» (ч. 2 ст. 9 АПК РФ).

В медицинской организации результат работы ИИ следует рассматривать как один из источников справочной информации или (повторим) черновик, а не как готовое решение. Более того, при использовании ИИ важно заранее определить правила работы для сотрудников и подрядчиков: какие задачи можно решать с его помощью, какие данные нельзя передавать в сервисы ИИ и кто обязан проверять достоверность полученных результатов.

Рекомендуем на уровне локального акта запретить:

• ввод в общедоступные ИИ-сервисы персональных данных пациентов;
• ввод сведений, составляющих врачебную тайну;
• ввод конфиденциальной информации организации, если отсутствуют гарантии ее защиты и правовые основания для передачи;
• использование результатов ИИ без проверки ответственным сотрудником.

Если исполнители на аутсорсинге используют ИИ при выполнении работ для клиники, правила его применения также рекомендуем регламентировать. В договоре целесообразно закрепить, что:

• подрядчик/исполнитель несет ответственность за результат работы независимо от использования ИИ;
• использование ИИ не освобождает подрядчика/исполнителя от обязанности проверки информации;
• подрядчик/исполнитель обязан соблюдать требования законодательства о персональных данных и конфиденциальности.

Цифровая система менеджмента качества медицинской деятельности (ЦСМК) — именно такое решение. Это структурированный и контролируемый инструмент, созданный специально для здравоохранения на основе научного исследования, прошедшего верификацию Академии наук РФ.

Методические материалы системы, документы, проверочные листы, опросники для нежелательных событий разрабатываются медицинскими юристами, экспертами в области организации здравоохранения и профильными специалистами. Ответы на запросы пользователей предоставляют практикующие медицинские юристы без использования ботов и скриптов.

Выбор в пользу ЦСМК — это выбор в пользу безопасности клиники:

1. 100% соблюдение 152-ФЗ и отсутствие трансграничных рисков. ЦСМК развернута на защищенных серверах на территории РФ. Данные пациентов в системе не хранятся, внутренние аудиты и документооборот никогда не покидают правовой контур РФ. Никаких скрытых API, никаких зарубежных облаков.
2. Никаких «галлюцинаций» и выдуманных фактов. ЦСМК не генерирует текст из воздуха. Вы получаете точную аналитику, а не вероятностную имитацию.
3. Управляемость и прозрачность. В ИИ вы не можете проверить, как именно он пришел к выводу. В ЦСМК каждый шаг, каждое изменение в документе или показателе качества логируются. Вы всегда знаете, кто, когда и на каком основании внес данные. Это надежная защита при проверках Росздравнадзора или страховых медицинских организаций.
4. Реальная польза для управления качеством. Вместо экспериментов с чат-ботами ЦСМК дает главному врачу реальные инструменты: автоматизацию внутренних аудитов, контроль инцидентов, управление удовлетворенностью пациентов и построение сквозной аналитики качества медицинской помощи в соответствии с приказами Минздрава.

Инновации должны служить безопасности, а не создавать новые угрозы. В вопросах цифровизации медицинской организации вполне уместен принцип «разделяй и властвуй»: ИИ — для отдельных точечных задач, не создающих потенциальных рисков для клиники; ЦСМК — для системного управления качеством и безопасностью медицинской деятельности. Такой подход позволяет использовать преимущества современных технологий без «галлюцинаций» и поводов для вопросов со стороны Роскомнадзора.