Учёные из Университета Иннополис разработали революционный метод управления автономным транспортом, который решает одну из главных задач в этой области: обработку данных с различных сенсоров. В традиционных системах информация с камер и лидаров анализируется по отдельности, что часто приводит к ошибкам. Новый подход основан на сквозном обучении, где нейросеть получает необработанные данные и самостоятельно формирует управляющие команды, минуя ручную интерпретацию.
Архитектура TransFuser имитирует процесс принятия решений человеком за рулём, включает сеть синтеза и сеть прогнозирования. Сеть синтеза обрабатывает визуальные и пространственные сигналы, чтобы создать точное 3D-представление окружающей среды. Трансформерный модуль объединяет эти данные и оценивает их значимость для текущих манёвров.
Эффективность системы подтверждена в simulations CARLA и на реальных данных из набора KITTI Vision. Уникальность метода заключается в его универсальности: он может быть адаптирован для различных автономных платформ, включая беспилотные суда. Патент на изобретение действителен в странах Евразийской патентной конвенции.
Важность разработки заключается в повышении безопасности и надежности автономных систем, снижая влияние человеческого фактора на управление транспортом. Подробности предоставлены пресс-службой университета.
*компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена