Международная группа учёных доказала, что применение нового метода ИИ станет более безопасным — устойчивым к атакам злоумышленников, способным выводить и обобщать логические закономерности. Результаты работы исследователей представил на международной конференции по обработке естественного языка EMNLP в Сингапуре студент магистратуры российского ИТ-вуза Данис Алукаев.
Современные модели глубокого обучения занимаются машинным переводом на все языки мира, выдают рекомендации пользователям киносервисов и маркетплейсов, строят графы знаний, генерируют изображения по тексту и диагностируют заболевания по медицинским снимкам. Однако человеку по-прежнему сложно интерпретировать решения моделей, что может тормозить внедрение ИИ-технологий в критически важные сферы, например, в медицину.
Данис Алукаев, студент Университета Иннополис: «Обычно модель машинного обучения воспринимается как чёрный ящик: на “вход” мы подаём какую-то информацию, на “выходе” — получаем результат. Но на практике специалистам, принимающим решения при помощи ИИ-сервисов, важно понимать причины, почему результат получился таким. Большинство современных моделей машинного обучения — чёрные ящики, в них нет механизмов для объяснения поведения модели. Наша научная работа и полученные результаты позволили приблизиться к пониманию того, что происходит внутри инструментов, основанных на искусственном интеллекте».
По словам группы исследователей из России, Дании и Великобритании, объяснение принятых решений моделей машинного обучения увеличит доверие врачей и других специалистов при работе с искусственным интеллектом. Так, рентгенолог будет видеть не только поставленный ИИ-сервисом диагноз — пневмонию лёгкого, но и то, что решение вынесено из-за обнаруженных на анализируемом рентгеновском снимке признаков «матового стекла» — участков уплотнения лёгочной ткани.
Илья Першин, руководитель Лаборатории искусственного интеллекта в медицине Университета Иннополис: «Наше исследование нацелено на улучшение взаимодействия человека с искусственным интеллектом. Используя предложенную нами модель врач сможет при необходимости вносить изменения в промежуточные результаты, полученные от ИИ-сервиса. К примеру, если одна из предпосылок к предсказанию патологии на снимке был симптом «матового стекла», но рентгенолог уверен, что там его нет, — врач может убрать эту предпосылку из рассуждений модели и повлиять на предсказание».
Одним из подходов для повышения интерпретируемости решений моделей глубокого обучения учёные называют концептуализированную модель, или Concept Bottleneck Models. В этом подходе искусственный интеллект сначала предсказывает набор концептов, описывающий понятную человеку абстракцию: размер, позицию, текстуру, цвет, форму. Затем на основе полученного набора концептов модель делает предсказание: обнаружена ли на рентгеновском снимке патология органа, или нет. Такое предсказание авторы называют целевым. Основная идея исследователей — для объяснения целевого предсказания решения модели глубокого обучения достаточно посмотреть на предсказанные концепты и на их основе сделать вывод о достоверности предсказания.
Илья Першин, руководитель Лаборатории искусственного интеллекта в медицине Университета Иннополис: «При таком подходе необходимо заранее выбрать набор концептов. Но возникают вопросы: на каких данных обучать модели и как разметить обучающие примеры, ведь разметка требует много времени и делается человеком вручную? Для своих экспериментов наша команда использовала 18 620 рентгеновских изображений разных органов, аннотаций врачей, разметок патологий и симптомов, которые мы использовали в других ИИ-исследованиях в этой области. Уникальность медицинских данных в том, что в них хранятся много как изображений, так и текстовых описаний — заключений рентгенологов. Мы разработали подход, где вместо набора концептов используются текстовые описания — это принципиально отличает наш метод от уже существующих».
Исследователи выяснили, что при совместном использовании изображения и текста искусственный интеллект учится лучше и лучше обобщает закономерности, поэтому при атаке злоумышленников модель останется устойчивой. Кроме того, для предложенного авторами метода не требуется ручная разметка концептов — они автоматически выделяются моделью во время обучения, что позволяет создать оптимальный набор концептов и не тратить человеческий ресурс на рутинное аннотирование.
Данис Алукаев, студент Университета Иннополис: «Эксперименты показали, что наш подход повышает не только интерпретируемость решений, но и робастность — устойчивость моделей глубокого обучения, что важно для безопасности использования ИИ. Во время экспериментов мы намеренно добавляли в набор тренировочных изображений метки, на основе которых ей было бы проще решать задачу классификации. Затем на тестовой выборке мы убирали эти метки и замеряли точность, интерпретируемость представлений. Оказалось, что базовая модель, в основном, полагалась на облегчающие задачу метки и её точность при их отсутствии упала на треть. Наша же модель, напротив, использовала интересующий объект, например, больше обращала внимание на зону вокруг патологии органа на рентгеновском снимке, то есть намеренно выбирала более надёжные и при этом сложные способы решения задачи, и её точность сохранялась».
Подробное описание кросс-модального метода объяснения решений моделей машинного обучения опубликовано в сборнике научной конференции Conference on Empirical Methods in Natural Language Processing EMNLP 2023.
