С помощью новой программы, созданной в российском ИТ-вузе, хирурги могут рассмотреть органы человека в 3D через очки смешанной реальности, оценить риски и исключить ошибки во время операции. Первыми в России цифровую операционную применили во время 30 операций в урологии и онкологии в Университетской клинике урологии МГМСУ им А.И. Евдокимова, отделениях урологии №2 ПСПбГМУ им. И.П. Павлова и МКНЦ им. А.С. Логинова, сообщает ТАСС.
Обычно хирурги изучают орган, на котором предстоит операция, по результатам компьютерной томографии или МРТ на мониторе. Во время операции он может возвращаться к результатам МСКТ / МРТ — видео и изображения оперируемого органа, но для этого ему нужен ассистент, который будет переключать медиафайлы на экране, так как руки хирурга должны оставаться стерильными.
Специалисты Центра компетенций НТИ по направлению «Технологии компонентов робототехники и мехатроники» на базе Университета Иннополис разработали продукт HLOIA. Теперь хирургам достаточно сделать 3D-модель органа, видео и изображения, на основе данных МРТ, сохранить это всё в в облачном хранилище, а потом с помощью новой программы загрузить на очки смешанной реальности нужные модели и файлы для использование во время операции.
Врач берёт очки в операционную и с помощью жестов запускает приложение: он может ещё раз рассмотреть смоделированный орган, увеличивая его и вращая на 360 градусов, сопоставить его с настоящим органом — это помогает ориентироваться при подготовке и во время лапароскопической операции, когда все манипуляции проводятся под кожей через небольшие надрезы. Также он может жестами запустить при необходимости заготовленные видео и изображения уже без помощника. Настройка очков занимает пару минут. Такой же алгоритм возможен при любой операции.
Первые операции урологи провели на пациентах с локализованным раком почки с помощью очков смешанной реальности Microsoft HoloLens 1 поколения, затем перешли на Microsoft HoloLens 2 поколения. В феврале 2020 года разработку опробовали во время лапароскопической операции на поджелудочной железе.
Михаил Останин, младший научный сотрудник Лаборатории промышленной робототехники Центра НТИ: «По сути мы создали цифровую операционную, которая помогает хирургам представить расположение органов пациента в пространственном виде, а не в виде чёрно-белых срезов КТ. Плюс мы исключаем из цепочки ассистентов врача, которые не всегда сразу могут понять, что именно хочет увидеть специалист в данный момент. Тема применения AR/VR технологий в медицине сейчас популярна и мы видели подобные проекты у коллег в Санкт-Петербурге и в других странах. Но пока их разработки на той стадии, когда врачам нужна помощь ИТ-специалистов, мы же сделали готовый полноценный продукт, с которым медики работают самостоятельно. От начала работы над проектом до готового проекта прошло 1,5 года».
К первой операции разработчики Университета Иннополис готовились месяц, так как нужно было выстроить всю цепочку и комбинацию настроек софта для выполнения задачи. Непосредственно перед самой операцией уходило ещё 9—11 часов на моделирование. Сейчас подготовка приложения к операции занимает не более часа — всё зависит от того, насколько быстро хирург сделает сегментацию и какой орган оперируется.
Игорь Семенякин, доцент кафедры урологии МГМСУ им. А.И. Евдокимова, доктор медицинских наук: «Мы стали первопроходцами в России в этой области — мы первыми провели такие операции. Данная разработка позволяет в полной мере придерживаться принципа “персонифицированная медицина”. Создание цифровой операционной позволяет расположить виртуальные экраны как удобно хирургу, объёмные модели проецировать на операционное поле и при всем этом не отвлекаться от пациента при сохранении стерильности. Очень важным является возможность помощи в обучении специалистов, простота в использовании при обучении. Использование дополненной реальности во время операции позволяет добиться снижения кривой обучения, особенно важно, что это позволяет снизить потенциальные критические осложнения пациента».
Видео первых операций
Видео 1: https://yadi.sk/i/eeFgOEI-wVFdgw
Видео 2: https://yadi.sk/i/k52UBof_koAfgw
