Как проверить диагностическую ИИ-модель на новых данных
Модель научилась распознавать признаки на снимках одной больницы. Будет ли она работать на снимках, полученных в других учреждениях? Такой вопрос помогает поставить внешняя проверка.
В исследовании 2019 года авторы разработали модель для анализа рентгенограмм грудной клетки на данных одного центра. Затем они оценили её на отдельном наборе снимков из пяти учреждений.
Чем внешняя проверка отличается от обучения
Во время обучения модель подстраивает свои параметры по данным, которые ей предоставили. На проверке исследователи оценивают результат на другом наборе. В этой работе авторы распределяли данные по пациентам: снимки одного человека не попадали одновременно в обучающую, настроечную и внутреннюю проверочную выборки. Это снижает риск того, что модель встретит на проверке уже знакомого пациента.
Внешний набор может показать, как модель работает за пределами первоначального источника данных. Но авторы специально формировали наборы для эксперимента; состав пациентов и снимков в обычной практике может отличаться.
Авторы измеряли классификацию снимков и локализацию признаков, а также сравнивали результаты с работой врачей в рамках своего эксперимента. Это конкретные задачи и условия, а не проверка всех возможных заболеваний.
Что ещё нужно выяснить
Даже внешняя проверка не гарантирует, что в других больницах будут такие же пациенты, оборудование и порядок работы. Важно проверить, как разделяли данные, не попадали ли сведения одного пациента одновременно в разные наборы и какие ошибки оставались.
Результат модели нужно оценивать вместе с устройством исследования и применимой клинической задачей.