Masquage sémantique d’instances pour SLAM visuel dans des environnements dynamiques

Abstract

Depuis quelques années, l’autonomie véhiculaire devient un sujet de plus en plus étudié. Présentement, les véhicules autonomes se localisent principalement par l’entremise de systèmes GPS (Global Positioning System). Toutefois, ces systèmes ne sont pas accessibles dans tous les types d’environnements (forêts, villes, décombres, neige, sous-terrain, etc.) et ne permettent pas de pouvoir réagir ou interagir avec l’environnement (arbres, chaises, voitures, etc.). Une alternative au GPS est l’utilisation de techniques visuelles pour faire de la localisation, de la même manière que l’humain le fait en percevant l’environnement avec ses yeux. C’est pour cette raison que la vision artificielle est de plus en plus utilisée dans ce type de systèmes mobiles. De plus, les derniers développements dans les GPU (Graphical Processing Unit) ont permis aux technologies d’apprentissage machine, plus particulièrement d’apprentissage profond, de faire des avancées technologiques importantes en ce qui concerne la vision artificielle. Un des problèmes propres à la localisation visuelle est d’arriver à distinguer les objets dynamiques de l’arrière-scène afin d’être indépendante de leur présence lors de la cartographie. Ce projet de recherche propose d’utiliser un algorithme d’apprentissage profond pour segmenter les images de façon sémantique, permettant ainsi l’identification, le suivi et le masquage d’objets dynamiques afin d’améliorer la localisation et la cartographie pour du SLAM visuel. L’approche ISM-vSLAM (Instance Semantic Masking for visual SLAM ) a donc été développée dans le cadre de cette maitrise. L’architecture d’ISM-vSLAM se sépare en trois sections : 1) la segmentation et la localisation des objets dynamiques à partir de l’image RGB d’entrée du système ; 2) la création et la mise jour de filtres de Kalman étendus pour chaque instance d’objets ; et 3) la gestion des instances sur les entrées de l’approche de vSLAM, et plus spécifiquement RTAB-Map utilisé pour la validation expérimentale de l’approche. Les résultats obtenus sur les séquences du jeu de données du Technical University of Munich (TUM) ainsi que nos tests en laboratoire suggèrent qu’ISM-vSLAM est robuste autant dans des environnements statiques que hautement dynamiques. De plus, les algorithmes développés sont basés sur l’intergiciel ROS (Robot Operating System), ce qui facilite l’utilisation et la maintenance de l’algorithme. Des applications utilisant ces informations sémantiques pourront donc être créées afin de permettre aux plateformes robotiques autonomes d’accroître leur éventail de fonctionnalités dans des environnements dynamiques, que ce soit pour améliorer la localisation, la planification de trajectoires ou encore pour interagir avec l’environnement.