Разработки учёных Исследовательского центра в сфере ИИ российского ИТ-вуза позволяют прогнозировать движения глаз при чтении текстов на 13 языках, оценивать модели генерации траекторий взгляда врачей и ускорять обучение языковых моделей. Изобретения запатентованы при поддержке экспертов Межотраслевого центра трансфера технологий Университета Иннополис.
Исследователи получили патент на систему прогнозирования взгляда человека при чтении текста. Способ позволяет предсказывать движения глаз человека при чтении текстов на английском, корейском, немецком и ещё 10 языках с использованием единой нейросетевой архитектуры.
В основе разработки — комбинация многоязычной языковой модели и трансформерной модели прогнозирования фиксаций взгляда, обученной на записях движений глаз при чтении текстов носителей разных языков. Система генерирует синтетические последовательности фиксаций взгляда, то есть ИИ моделирует, как человек мог бы читать текст, и оценивает их по вероятности пропуска слов, количеству фиксаций при первом чтении и другим критериям.
Разработанная система позволяет формировать реалистичные синтетические данные о движениях глаз человека для дообучения языковых моделей в задачах обработки естественного языка, компенсируя дефицит дорогостоящих реальных данных айтрекинга — устройства, фиксирующего движения взгляда человека.
Илья Першин, руководитель Лаборатории ИИ в медицине Университета Иннополис: «Синтетические данные — зачастую единственный выход при нехватке реальных записей взгляда для многих научно-исследовательских и прикладных задач, особенно в медицине. Они удешевляют обучение ИИ и делают возможным то, что раньше казалось невозможным. В одном из наших исследований они помогли на 20—30% точнее предсказывать взгляд врача на рентгеновских снимках — это важно для диагностических ИИ-сервисов».
Второй патент связан с оценкой генерации движения глаз при чтении текстов. Изобретение решает проблему отсутствия унифицированных протоколов для сравнения последовательных фиксаций взгляда на тексте, полученных при помощи генеративных моделей.
Предложенный подход включает сравнение траекторий взгляда по пространственным и временным характеристикам и оценку разных признаков движений глаз — на уровне всего текста, отдельных слов и предложений. Решение также анализирует то, как свойства текста, например, длина слов и частота, влияют на взгляд, сравнивает с реальными данными людей и проверяет модели на разных текстах, чтобы убедиться, что они работают не только на тех, на которых их обучили.
Решение повышает точность и надёжность оценки качества моделей генерации траекторий движения глаз и помогает выбрать модель, чьи траектории наилучшим образом соответствуют реальным данным под конкретное исследование.
Третий патент на способ обучения языковых моделей с синтетическими траекториями взгляда интегрирует данные о зрительном внимании в обучение с подкреплением на основе обратной связи от человека.
Иван Стебаков, специалист Лаборатории ИИ в медицине Университета Иннополис: «Для обучения моделей искусственного интеллекта необходимы огромные объёмы данных. На основе реальных предпочтений людей исследователи обучают вспомогательную ИИ-модель, которая затем автоматически оценивает ответы большой языковой модели в процессе её обучения. Этот подход называется обучением с подкреплением на основе обратной связи от человека (RLHF) и стал причиной прорыва в улучшении качества больших языковых моделей».
Изобретение включает генерацию синтетических последовательностей фиксаций взгляда и признаков зрительного внимания и реализацию алгоритма обучения с подкреплением на основе обратной связи от человека, учитывающей паттерны человеческого внимания, например, пропуски слов при быстром чтении.
Технология ускоряет обучение ИИ в 1,5—2 раза, снижает затраты на вычисления, воспроизводит паттерны внимания человека с точностью до 93% и работает даже для языков с малым объёмом данных.
Исследовательский центр в сфере искусственного интеллекта создан в 2021 году на базе Университета Иннополис в рамках федерального проекта «Искусственный интеллект». Центр развивает проекты в области ИИ по пяти направлениям: поиск новых материалов, транспорт, логистика, компьютерное зрение и медицина. В 2025 году центр получил специализацию в сфере ИИ по цифровому ускорению науки. На базе обновлённого центра проводятся научные исследования по наиболее перспективным направлениям ИИ и прикладные исследования совместно с партнёрами.
