Как проверяют диагностическую ИИ-модель: внешняя выборка и утечка данных на конкретном примере

Три блока данных решают три разных задачи, и их нельзя смешивать. Обучающий блок учит модель находить закономерности, проверочный блок внутри разработки помогает выбрать настройки и остановить обучение вовремя, а отложенный тестовый блок дает первую честную оценку на данных, которые модель не видела при обучении и настройке. Если тестовый блок случайно содержит тех же пациентов, их повторные записи или информацию, доступную только после диагноза, оценка перестает измерять будущую работу модели и начинает измерять память о прошлом.

Пример, проверенный для этой статьи, показывает утечку через сами признаки. Авторы взяли набор из 2105 пациентов с болезнью Паркинсона и контрольной группы и построили два конвейера: в одном исключили все явные моторные симптомы, чтобы смоделировать доклинический сценарий, а в другом, контрольном, эти признаки оставили. Девять алгоритмов, от логистической регрессии до глубоких нейросетей, оценивали по трехчастному разделению данных. Когда явные признаки, такие как тремор и ригидность, были включены, показатели резко улучшились. Авторы прямо связывают это улучшение с утечкой: такие признаки сами являются частью диагностики, а не ранними предвестниками, доступными до появления симптомов.

Без явных признаков картина оказалась обратной и поучительной. У всех моделей сохранялись на вид приемлемые значения F1, но специфичность рушилась: большинство здоровых людей из контрольной группы модели относили к болезни Паркинсона. Один сводный показатель скрыл провал, а таблица сопряженности его показала: модель, которая почти всех называет больными, может выглядеть неплохо по F1, но клинически она непригодна, потому что порождает массу ложных тревог. Отсюда практическое правило для читателя: просить не только точность или F1, но и чувствительность, специфичность и таблицу ошибок по отдельности.

В работе о болезни Паркинсона разделение проведено внутри одного набора данных: 80 процентов на обучение, 10 процентов на настройку и 10 процентов на отложенную проверку. Все три блока взяты из одного набора данных, поэтому отложенная проверка здесь внутренняя, а не внешняя. Внешняя когорта в этой работе не представлена, а авторы сами указывают на необходимость проверки в разных клинических условиях. Поэтому эту работу можно использовать как проверенный пример утечки и внутренней проверки, но не как пример внешней проверки.

Отдельный проверенный пример внешней проверки дает другая модель и другая задача. В работе Saito и соавторов 2026 года модель eAS по фонокардиограмме и одноканальной ЭКГ проверяли для выявления аортального стеноза умеренной степени и тяжелее. Обучающая и разработческая когорта составила 1589 случаев из 10 больниц Японии и была полностью независима от внешней когорты. Внешняя когорта составила 951 пациента из 3 медицинских учреждений, включая 70 пациентов с аортальным стенозом умеренной степени и тяжелее, а эталоном служила трансторакальная эхокардиография. Первичным исходом была чувствительность, вторичными исходами были площадь под ROC-кривой, специфичность, прогностические значения и отношения правдоподобия.

На внешней когорте модель показала площадь под ROC-кривой 0,9632, при 95-процентном доверительном интервале от 0,9471 до 0,9774, чувствительность 92,9 процента и специфичность 87,9 процента при заранее заданном пороге. Это результат именно внешней проверки, а не внутренней отложенной выборки, и он показывает, что проверять модель нужно на данных, которые не участвовали в обучении и настройке. При этом внешняя проверка не делает модель готовой к скринингу всего населения: внешняя когорта была набрана среди пациентов, направленных на эхокардиографию, в ней было больше выраженного клапанного поражения, чем в обучающей когорте, а формальной центральной перепроверки эхокардиограмм несколькими читателями не проводилось.

Для статьи это означает, что пробел прошлой версии закрыт частично по структуре, но не по переносу между задачами: пример утечки и пример внешней проверки взяты из разных моделей, разных задач и разных популяций. Их нельзя смешивать в одну оценку одной модели, и нельзя переносить показатели модели eAS на болезнь Паркинсона или показатели модели болезни Паркинсона на аортальный стеноз. Хорошая проверка диагностической модели это не один высокий показатель, а цепочка: чистый обучающий блок, отдельный блок настройки, отложенный внутренний тест с полной таблицей ошибок и независимая внешняя проверка.

Ограничения: Статья не оценивает конкретное диагностическое устройство и не дает рекомендаций по диагностике болезни Паркинсона или аортального стеноза. Происхождение исходного набора данных из 2105 пациентов по проверенному тексту не раскрыто до уровня, достаточного для его независимой идентификации, поэтому источник набора в статье не назван. Утечка при болезни Паркинсона показана через признаки, а не через повторные записи одних и тех же пациентов, и эти два механизма утечки различать обязательно. Пример внешней проверки относится к другой модели и другой задаче, поэтому показатели двух примеров нельзя объединять. Модель eAS проверялась в эхокардиографически направленной популяции Японии, а не в общей популяции скрининга.

Конфликты интересов и юрисдикция: Для Saito: в открытом фрагменте полного текста первый автор аффилирован с AMI Inc, Kagoshima, Japan, а устройство Cardio-EGG указано как продукт AMI Inc. Полный раздел конфликтов в этой проверке не прочитан до конца из-за ограничения частоты запросов, поэтому содержание раздела конфликтов в пакете не утверждается. Юрисдикция внешнего примера: Япония, критерии тяжести аортального стеноза следовали руководству Японского общества циркуляции, устройство описано как одобренное для применения в Японии. Для Starcke: полный раздел конфликтов в этой проверке не прочитан, юрисдикция по проверенному abstract не названа, поэтому не утверждается.

Автор: life.usb.ru