С помощью новой ИИ-модели научные сотрудники Исследовательского центра в сфере искусственного интеллекта Университета Иннополис на 20—30% улучшили качество предсказания движений глаз врача-рентгенолога по сравнению с аналогами и на 5% повысили точность автоматического распознавания патологий на снимках, сообщает РИА Новости. Технология открывает путь к созданию гибких ИИ-систем поддержки принятия врачебных решений, обучающих симуляторов для рентгенологов и более интерпретируемых медицинских сервисов диагностики заболеваний.
Сравнение траекторий взгляда человека и синтетических траекторий ИИ-моделей
Исследователи российского ИТ-вуза разработали мультимодальную ИИ-модель «ЛогитГейз-Мед» (LogitGaze-Med), которая объединяет зрение, язык и медицинские знания для предсказания взгляда рентгенолога, изучающего медицинские снимки. В отличие от существующих методов, которые полагаются на общие модели и данные о самых «заметных» участках изображения, новая модель учитывает конкретную диагностическую задачу, например, поиск признаков пневмонии или застойной сердечной недостаточности, и детальную клиническую семантику — важные для врача смысловые признаки на снимке: анатомические структуры, контуры сердца, затемнения, участки лёгочной ткани и признаки конкретных патологий.
Дмитрий Львов, специалист Лаборатории искусственного интеллекта в медицине Университета Иннополис: «Наша модель связывает пиксели не просто с яркими областями, а с медицинским смыслом этих областей и с диагностической задачей. Для этого мы впервые применили в медицинской визуализации метод “логит-линзы” к большой, обученной на биомедицинских данных модели, способной понимать связь между изображениями и текстом. Это помогло заглянуть внутрь нейросети и извлечь из отдельных фрагментов снимка, то есть патчей, понятные человеку семантические описания: “кость”, “сердце”, “затемнение”».
«ЛогитГейз-Мед» объединяет три типа данных: визуальные признаки, полученные от специализированных медицинских алгоритмов, текстовые описания диагностических меток, например, «норма» или «пневмония», и семантические данные на уровне патчей, извлечённые с помощью «логит-линзы». В результате модель предсказывает не только тепловую карту внимания, а последовательность фиксаций взгляда: координаты участков снимка и длительность внимания к ним — именно так как врач-рентгенолог распределяет внимание при конкретном клиническом поиске. Это называется синтетической траекторией взгляда. Такие предсказанные ИИ-моделью траектории взгляда прошли слепую экспертную оценку практикующего рентгенолога и получили высокие оценки по визуальному реализму — 4,3 балла из 5, и клинической значимости — 4,2 балла из 5. По словам авторов статьи, эксперт лишь в 58% случаев отличил сгенерированные траектории взгляда врача от реальных.
Также синтетические траектории взгляда были использованы в эксперименте как дополнительная информация для обучения классификатора патологий на снимках грудной клетки, взятых из общедоступной базы медицинских данных. Применение модели «ЛогитГейз-Мед» позволило исследователям повысить точность распознавания сердечной недостаточности и пневмонии более чем на 5%.
Илья Першин, руководитель Лаборатории искусственного интеллекта в медицине Университета Иннополис: «Наше исследование внесло вклад в решение фундаментальной проблемы нехватки данных о движении взгляда врачей при анализе медицинских снимков. Генерация реалистичных синтетических траекторий взгляда рентгенолога позволит системам на базе таких моделей в реальном времени направлять внимание менее опытных врачей к потенциально проблемным областям на рентгенограммах, повторяя логику врача-эксперта. Модель “ЛогитГейз-Мед” может лечь в основу симуляторов для обучения будущих рентгенологов правильным паттернам визуального поиска. Кроме того, предсказание взгляда делает работу медицинских ИИ-систем более понятной и обоснованной для врача, укрепляя доверие к технологиям. Конечно, внедрение и масштабирование модели потребует дополнительной валидации в разных медицинских учреждениях».
Статья «От человеческого внимания к диагнозу: семантическая интеграция моделей Vision-Language на уровне патчей в медицинской визуализации» (From Human Attention to Diagnosis: Semantic Patch-Level Integration of Vision-Language Models in Medical Imaging) опубликована в сборнике научных работ Конференции по нейронным информационным системам NeurIPS. Её авторы — сотрудники Лаборатории искусственного интеллекта в медицине Исследовательского центра в сфере ИИ Университета Иннополис Дмитрий Львов и Илья Першин. Научная работа написана при поддержке Министерства экономического развития РФ.
Исследовательский центр в сфере искусственного интеллекта создан в 2021 году на базе Университета Иннополис в рамках федерального проекта «Искусственный интеллект». Центр развивает проекты в области ИИ по пяти направлениям: поиск новых материалов, транспорт, логистика, компьютерное зрение и медицина. В 2025 году центр получил специализацию в сфере ИИ по цифровому ускорению науки. На базе обновлённого центра проводятся научные исследования по наиболее перспективным направлениям ИИ и прикладные исследования совместно с СИБУРом, Сбером, МТС и другими партнёрами.
