Исследователи из Университета Иннополис разработали инновационный метод управления автономным транспортом, который направлен на устранение сложности обработки данных от различных датчиков. В отличие от традиционных систем, где информация с камер и лидара анализируется отдельно, новый подход использует нейросеть, способную обрабатывать необработанные данные и формировать управляющие команды на лету.
В основе разработки лежит архитектура TransFuser, которая включает в себя сети синтеза и прогнозирования. Эта двухкомпонентная модель имитирует процесс принятия решений водителем, обрабатывая информацию от камер и лидара в параллельных ветвях для создания комплексного трехмерного представления окружающей среды.
Ключевой момент — трансформерный модуль, который оценивает важность каждой части данных: например, связывает светофор с его позицией в пространстве. Прогнозирование траектории происходит на основе обогащенных признаков, передавая данные на системы управления транспортным средством.
Надежность модели была подтверждена в симуляторе CARLA и на реальных данных из набора KITTI Vision. При этом метод продемонстрировал универсальность, успешно адаптируясь к различным типам автономных платформ, включая беспилотные суда. Новый патент будет действовать на территории стран Евразийской патентной конвенции, включая Россию.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена