Российские исследователи изобрели новый способ управления автономным транспортом с применением сквозного обучения нейронных сетей и получили на него евразийский патент. Разработка позволяет автомобилю напрямую, без сложной ручной обработки, интерпретировать данные с камер и лидаров, прогнозировать траекторию и выдавать команды для движения. Это станет основой для более безопасных, надёжных и самостоятельных автономных систем, способных работать в сложных погодных и дорожных условиях, минимизируя риски, связанные с человеческим фактором.
Изобретение решает ключевую проблему создания точных и производительных систем для автономного транспорта. По словам разработчиков, традиционные подходы часто требуют раздельной обработки сигналов от разных датчиков и сложной ручной настройки алгоритмов. Предложенный в Университете Иннополис метод основан на сквозном обучении. Эксперты обучили нейронную сеть TransFuser на входных сигналах — необработанных пикселях изображений с камер и точках облака данных с лидара, которые, выявляя сложные паттерны в данных, сразу генерируют управляющие команды: продолжать движение, объехать препятствие, повернуть или остановиться.
Архитектура модели TransFuser состоит из двух частей, имитирующих процесс принятия решений водителем: сети синтеза и прогнозирования. Сеть синтеза на основе трансформера выступает в роли «мозга», отвечающего за восприятие окружающей обстановки. Она разделена на две параллельные ветви, обрабатывающие информацию разного типа: ветвь изображения анализирует картинку с камеры при помощи серии свёрточных кодировщиков, извлекая визуальные признаки и мелкие детали, а ветвь вида с высоты птичьего полёта обрабатывает облако точек с лидара. Это даёт системе точное геометрическое и пространственное понимание трёхмерной структуры окружающего мира: расположение препятствий, рельефа, дистанции между объектами.
Модуль трансформера выполняет ключевую операцию — совместно обрабатывает и синтезирует информацию от обеих ветвей. Его ядро вычисляет значимость каждого элемента данных относительно других. Например, система может определить, что светофор на изображении соответствует конкретному участку в 3D-пространстве и оценить приоритет этой информации для управления автомобилем.
Сеть прогнозирования пути получает обогащённые и объединённые признаки от трансформера и прогнозирует оптимальную траекторию движения беспилотного автомобиля на несколько шагов вперед. Эти данные затем поступают на стандартные пропорционально-интегрально-дифференцирующие регуляторы, которые непосредственно управляют рулевым механизмом, ускорением и торможением транспортного средства.
Бадер Рашид, старший научный сотрудник Лаборатории инновационных технологий обработки видеоконтента Университета Иннополис: «Для повышения надёжности и способности модели к обобщению в процесс обучения нейросетей мы включили четыре вспомогательные задачи: оценку глубины по 2D-изображению, семантическую сегментацию сцены, построение детальной HD-карты дороги и детекцию 3D-объектов с помощью ограничивающих параллелепипедов. Это позволило ИИ сформировать более целостное и устойчивое представление об окружающей среде».
Эффективность архитектуры изобретения подтверждена в нескольких средах. Первичное обучение и тестирование проводились в реалистичном симуляторе городского движения CARLA. Для оценки способности модели работать с реальными данными специалисты использовали признанный мировой эталон — открытый набор данных KITTI Vision, содержащий синхронизированные записи с камер и лидаров реального автомобиля.
Мостафа Хегази, ассистент Лаборатории интеллектуальных робототехнических систем Университета Иннополис: «Важно, что гибкость подхода позволила адаптировать наш метод и для других типов беспилотных транспортных средств. Наша команда успешно перенесла и протестировала модель на данных, полученных c беспилотных судов, что демонстрирует универсальность предложенной архитектуры для различных сред передвижения».
Найденные с помощью разработанной модели объекты во время тестирования на беспилотном судне
Метод запатентовали эксперты Межотраслевого центра трансфера технологий Университета Иннополис. Патент действует на территории государств-участников Евразийской патентной конвенции: Азербайджана, Кыргызстана, Армении, Беларуси, Казахстана, Таджикистана, России и Туркменистана.
