Медицинских данных стало так много, что их уже сложно «переварить»: карты пациентов, анализы, снимки, статьи, отчеты. При этом решения часто нужно принимать быстро, а ошибки стоят дорого. Поэтому в медицину приходят ИИ-агенты — программы, которые понимают запрос на обычном языке и умеют не только отвечать, но и выполнять действия: искать, считать, проверять и собирать итог. Диагноз и лечение всё равно остаются за врачом.
Что такое медицинский ИИ-агент и чем он отличается от чат-бота?
Обычный чат-бот чаще всего ограничивается разговором: «вот справка», «вот подсказка», «вот краткое объяснение». ИИ-агент устроен как помощник «с руками»: он получает запрос, запускает нужные инструменты и возвращает результат, который можно проверить. Если совсем по-простому, это калькулятор, который понимает человеческую речь. Например, агент может найти нужную выборку пациентов по условиям, посчитать частоту побочного эффекта или собрать сводку по публикациям.
Чаще всего «мозг» агента — LLM, то есть большая языковая модель. Она понимает смысл запроса и переводит его в шаги, понятные системе.
LLM — нейросеть, обученная на большом объеме данных, которая понимает запросы на человеческом языке. LLM-агент — это LLM плюс правила и инструменты, которые позволяют модели не только отвечать, но и выполнять действия (например, обращаться к базе данных или запускать готовые сценарии).
Из каких деталей собирают агента?
Чтобы система была полезной и безопасной, её собирают из нескольких частей. Это похоже на конвейер: каждый блок делает свой кусок работы и передает дальше.
Обычно в агенте есть такие блоки:
- Данные (Big Data): карты, анализы, снимки, показания датчиков, научные статьи.
- Единый стандарт (часто OMOP), чтобы разные источники совпадали по смыслу и структуре.
- Интерфейс: веб-приложение в браузере, куда вводят запросы.
- Инструменты: поиск, работа с базой, отчеты, уведомления.
- Ограничения: что можно спрашивать, к каким таблицам есть доступ, какие действия запрещены.
Big Data — очень большие массивы данных, которые вручную обработать почти невозможно. OMOP — набор стандартов, словарей и инструментов для унификации медицинских данных. Веб-приложение — программа, которая работает в браузере без установки на компьютер или телефон.
В медицинских проектах часто выбирают локальное развертывание: модель и данные живут внутри организации. В одном из проектов SeRP система работала на GPU-сервере, доступ давали через веб-приложение на FastAPI, а разворачивали всё в Docker внутри защищенной среды TRE.
FastAPI — инструмент для быстрого создания веб-приложений. Docker — способ «упаковать» приложение в контейнер, чтобы оно одинаково работало на разных серверах. TRE — защищенная среда для работы с чувствительными данными. GPU-сервер — сервер с мощными видеокартами, которые ускоряют работу нейросетей.
Как агент превращает вопрос в запрос к данным?
Самое рискованное — дать модели полную свободу писать запросы к базе «как получится». В медицине так делать опасно: можно случайно запросить лишнее, перепутать таблицы или собрать некорректную выборку. Поэтому на практике агенту часто дают SQL-шаблоны: проверенные заготовки, где меняются только параметры (возраст, год, регион, диагноз). Тогда модель выбирает подходящий шаблон и подставляет значения, а не изобретает запрос с нуля.
Простой сценарий работы выглядит так:
- Пользователь пишет запрос на естественном языке.
- LLM выделяет условия (например, диагноз, возраст, период, регион).
- Агент выбирает подходящий SQL-шаблон и подставляет параметры.
- SQL-движок выполняет запрос и возвращает результат.
- Агент показывает итог и объясняет, какие фильтры применил.
SQL — язык команд для баз данных. SQL-шаблон — заранее утвержденная заготовка запроса с параметрами. SQL-движок — компонент базы данных, который исполняет SQL-команды: читает, пишет, обновляет и ищет данные.
Чтобы такие запросы нормально работали с огромными таблицами, используют специальные «движки» для больших данных и слой метаданных. В подходе SeRP применяли связку Trino и Apache Iceberg: Trino исполнял запросы, а Iceberg хранил метаданные и историю изменений таблиц. Правила и шаблоны описывали в YAML, а версии контролировали через Git.
Trino — распределенный SQL-движок для работы с большими данными. Apache Iceberg — слой метаданных для больших таблиц в объектных хранилищах, который поддерживает историю изменений и версионирование схем. YAML — удобный формат для настроек. Git — система, которая хранит историю изменений файлов и позволяет откатываться к прошлым версиям.
Как агент «понимает» медицинские термины и не путает коды?
В медицинских базах диагнозы и процедуры часто записаны не словами, а кодами. К тому же один и тот же смысл можно описать разными фразами. Поэтому агенту нужен поиск «по смыслу», а не только по точному совпадению слов.
Здесь помогает RAG: перед тем как ответить, модель сначала ищет нужные факты в справочниках, документах или базе знаний, а потом формирует ответ. Для быстрого поиска похожих формулировок используют векторный поиск, например FAISS: текст превращают в числа (векторы), и система находит ближайшие по смыслу варианты.
RAG — подход, при котором LLM перед ответом ищет релевантные сведения во внешних источниках и опирается на них. Векторное представление — перевод текста (или другого объекта) в набор чисел, чтобы сравнивать «близость смысла». FAISS — библиотека для быстрого поиска похожих векторов (разработана Meta; с 21 марта 2022 года решением суда организация признана в России экстремистской и запрещена).
Надежный медицинский агент не «угадывает», а опирается на данные и показывает путь: что именно он запросил и по каким правилам получил результат.
Где агент ошибается и как его делают безопаснее?
Главная проблема LLM — галлюцинации: модель может уверенно написать то, чего нет в данных, или сделать вывод без подтверждения. В медицине это лечится не «верой в ИИ», а правилами, ограничениями и человеческим контролем.
Галлюцинации — ситуация, когда модель выдает правдоподобный ответ без надежной опоры на источники или данные. Это связано с тем, как генеративные модели подбирают слова и продолжения фраз.
Типовые меры защиты:
- Белый список таблиц и действий: доступ только к заранее утвержденным OMOP-таблицам и SQL-шаблонам.
- Логи и аудит: сохраняются запросы, версии шаблонов, результаты и параметры фильтрации.
- Человек в цикле: выгрузки и чувствительные операции выполняются только после одобрения ответственного сотрудника.
- Проверки качества: тестовые запросы, контроль выбросов, сравнение с ожидаемыми диапазонами.
«Галлюцинации требуют человеческого контроля».
Артур Зиннуров
Что будет дальше?
Дальше станет больше узких агентов: для радиологии, клинических исследований, фармаконадзора, поиска побочных эффектов. Они будут лучше работать с потоками данных и чаще объяснять свои шаги так, чтобы проверка занимала минуты, а не часы. И выигрывать будут те команды, у которых данные приведены в порядок и заранее прописаны правила: что можно делать, как проверять результат и кто несет ответственность.
Источники.
- РБК Тренды — «Как создаются и работают медицинские ИИ-агенты» (Артур Зиннуров).
- OHDSI — OMOP Common Data Model.
- Документация Trino.
- Документация Apache Iceberg.
Помощник Капибара — российский контент-менеджер, публицист и обозреватель. Более 12 лет в копирайтинге, 10 лет в SEO и 6 лет в видео-контенте. Старается объяснять всё подробно и простыми словами. Считает, что баланс нужен во всём.
