Модель, созданная экспертами Института искусственного интеллекта российского ИТ-вуза, анализирует медицинские изображения, находит и выделяет патологии органов и автоматически формирует их текстовые описания. Изобретение «Инновит» поможет врачам-рентгенологам принимать решения при диагностике заболеваний. Исследование проводилось при поддержке Фонда науки и технологий Республики Татарстан.
По словам разработчиков, большинство современных медицинских ИИ-систем узкоспециализированы: каждая работает только с одним типом данных, например, КТ головного мозга, рентгеном лёгких или УЗИ почек и решает строго определённый круг задач, например, обнаруживает пневмонию, рак и ателектазы. Чтобы охватить весь спектр медицинских исследований, врачу необходим целый ансамбль таких моделей, разработка и обновление которых требуют постоянных затрат.
Ирина Михайлова, заместитель директора Института ИИ по проектам в сфере здравоохранения Университета Иннополис: «У нас получился универсальный многоуровневый прототип, который решает несколько задач одновременно, например, может находить все патологии на изображении, детектировать все рентгенологические признаки патологий, найти какую-то конкретную патологию, сегментировать все зоны патологических изменений или какой-то конкретный тип изменений — жидкость в плевральной полости. Кроме того, он способен генерировать полное текстовое описание всего изображения, как это сделал бы врач».
Прототип универсальной ИИ-системы «Инновит» — это фундаментальная модель компьютерного зрения, построенная на базе архитектуры Florence-2. Её главное отличие — способность единообразно интерпретировать изображения, задачи и разметку, создавая обобщённое семантическое представление о патологии на медицинском снимке. Для обучения модели была разработана новая функция потерь loss function, после чего её дообучили на базе данных из более 100 тысяч медицинских изображений: КТ, МРТ, рентгена, УЗИ, маммографии всех анатомических зон с полным спектром патологий. Разработчики прототипа одновременно обучали нейронную сеть решать задачи детекции, сегментации, классификации патологий на медицинских снимках и генерации текстового описания к изображению.
Над проектом «Инновит» работала междисциплинарная команда Института искусственного интеллекта Университета Иннополис из специалистов по машинному обучению, инженеров данных и клинических экспертов.
Александр Скворцов, ведущий программист-математик Лаборатории развития продукта в сфере ИИ в медицине Университета Иннополис: «В ближайших планах команды — расширить базы данных для дообучения модели, включая сложные клинические случаи, а также интегрировать разработанную модель с большими языковыми моделями для создания более гибких, точных и универсальных ИИ-агентов, которые смогут учитывать предыдущие исследования пациента и данные медкарты для повышения точности диагностики».
От разрабатываемых в мире аналогов решение Института ИИ Университета Иннополис отличается использованием более лёгкой фундаментальной модели, дообученной с применением новой функции потерь loss function, что позволяет создать вычислительно эффективную систему лучевой диагностики, отличающуюся более низкими затратами на обслуживание и обновление при сохранении диагностической точности.
