Университет Иннополис добился значимого прорыва в области автономного транспорта, запатентовав новый метод управления, решающий проблемы обработки данных от различных сенсоров. В то время как традиционные системы требуют раздельной обработки информации с камер и лидаров, новый подход требует минимальной ручной настройки алгоритмов, что снижает вероятность ошибок.
Исследователи внедрили нейросеть, использующую принцип сквозного обучения, которая сразу обрабатывает необработанные изображения и данные лидара, формируя команды движения, такие как «двигаться», «объехать» или «остановиться».
Основная архитектура TransFuser включает сети синтеза и прогнозирования. Сеть синтеза формирует 3D-представление с помощью сверточных кодировщиков, а трансформерный модуль оценяет взаимодействие объектов, помогая в принятии решений. Затем сеть прогнозирования вычисляет оптимальную траекторию для безопасного движения.
Модель была протестирована в симуляторе CARLA и на данных KITTI Vision, подтверждая свою эффективность. Гибкость подхода позволяет адаптировать его для различных автономных платформ, включая беспилотные суда.
Патент на технологию будет действовать в странах Евразийской патентной конвенции, включая Россию. *компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена