Tridimensional localization and directivity reconstruction of sound sources using the acoustic imaging structure from motion

Abstract

Acoustic imaging systems based on microphone arrays have wide applications in the localization and diagnosis of sound sources. However, while sound radiation is tridimensional and path-dependent, most diagnosis systems based on acoustic images are spatially stationary i.e., they are unable to fuse information obtained from multiple capture positions. The final diagnosis may be unreliable or incomplete. In this thesis, it is proposed, developed and validated a numerical and measurement method for the tridimensional localization and reconstruction of multiple stationary sound sources called acoustic imaging structure from motion (AISFM). It relies on the minimization of the re-projection error of the final tridimensional localization of the sound sources on acoustic images captured from multiple positions, with or without knowledge of the positions of the captured images, in order to deliver the best tridimensional reconstruction of artifacts in a least-squares sense. An acoustic image correspondence problem needs to be solved beforehand. Using the sources' localization and other informations extracted from the acoustic images, the method also delivers the amplitude and directivity pattern of the sound sources. It back propagates the uncertainties of sound sources localizations on each image so that a standard deviation for the tridimensional localization of each source may be computed and correlated to its extension and directivity. The AISFM method is tested and benchmarked numerically and experimentally. An unsupervised sound source localization method based on the image segmentation principle coupled to automatic image metrics computation are developed in order to feed the AISFM with the necessary informations using a trouble-free work-flow. Two segmentation methods are used on the acoustic images: Otsus' and Bradleys' methods. Optimal parameters are defined for the best localization performance and the results are benchmarked numerically and experimentally. The metrics are computed interpolating the acoustic images to a polar grid in order to eliminate any directional bias in their evaluation. The acoustic images are generated using the GCC-PHAT beamforming algorithm with acoustic signals captured with a spherical microphone array. The position of the microphones on this array is optimized using two geometric criteria and a genetic algorithm. The obtained images are claimed to present larger main-lobes widths, smaller side-lobes levels and to perform better with the proposed image segmentation methods.

Les systèmes d'imagerie acoustique basés sur des antennes microphoniques ont de larges applications dans la localisation et le diagnostic de sources sonores. Cependant, bien que le rayonnement sonore soit tridimensionnel, la plupart des systèmes de diagnostic basés sur des images acoustiques sont stationnaires dans l'espace. C'est-à-dire qu'ils ne peuvent pas fusionner les informations obtenues à partir de plusieurs positions de mesure. Le diagnostic nal peut être peu able ou incomplet. Dans cette thèse, une méthode numérique et de mesure pour la localisation tridimensionnelle et la reconstruction de plusieurs sources sonores stationnaires appelée imagerie acoustique par l'ajustement de faisceaux (AISFM, en anglais) est proposée, développée et validée. La méthode repose sur la minimisation de l'erreur de reprojection de la localisation tridimensionnelle nale des sources sonores sur des images acoustiques capturées à partir de plusieurs positions, avec ou sans connaissance de ces positions, a n de fournir la meilleure reconstruction tridimensionnelle d'artefacts. Un problème de correspondance d'image acoustique doit être résolu au préalable. En utilisant la localisation des sources et d'autres informations extraites des images acoustiques, la méthode fournit également l'amplitude et la directivité des sources sonores. La méthode propage en arrière les incertitudes de localisation des sources sonores sur chaque image a n qu'un écart-type de localisation tridimensionnelle pour chaque source puisse être calculé et corrélé à son extension et sa directivité. La méthode AISFM est testée numériquement et expérimentalement. Une méthode de localisation de source sonore non-supervisée basée sur le principe de segmentation d'image couplée à un calcul automatique des mé- triques de l'image acoustique est développée a n de fournir à l'AISFM les informations nécessaires. Deux méthodes de segmentation sont utilisées sur les images acoustiques : les méthodes d'Otsu et de Bradley. Des paramètres optimaux sont dé nis pour les meilleures performances de localisation et les résultats sont comparés numériquement et expérimentalement. Les métriques sont calculées en interpolant les images acoustiques sur une grille polaire a n d'éliminer tout biais directionnel dans leur évaluation. Des images acoustiques sont générées à partir de l'algorithme de formation de voies GCC-PHAT avec des signaux acoustiques capturés avec une antenne microphonique sphérique. La position des microphones sur cette antenne est optimisée à l'aide de deux critères géométriques et d'un algorithme génétique. Les images obtenues présentent des largeurs de lobes principaux plus grandes, des niveaux de lobes latéraux plus petits et de meilleures performances avec les méthodes de segmentation d'image proposées.