Quelques pièges cachés des méthodes de sélection de variables en régression linéaire multiple

Abstract

La régression linéaire est une méthode d'analyse des données parmi les plus anciennes. On attribue à K. F. Gauss (vers 1809) le mérite d'avoir développé la méthode des moindres carrés afin d'ajuster une équation qui est linéaire du point vue de ses paramètres. Des développements impressionnants sont survenus au cours des 150 années qui ont suivies pour finalement stagner vers 1959 puisque la majorité des idées nouvelles nécessitait l'utilisation d'un ordinateur très performant pour éclore. Le perfectionnement des ordinateurs combiné à la réduction des coûts d'utilisation a permis à des méthodes telles que la sélection d'un sousensemble de variables, dont il sera question dans ce mémoire, de voir le jour. Dans le présent document, nous jetterons un regard à la fois descriptif et critique à l'égard des méthodes de sélection développées principalement au cours des trente dernières années. Nous étudierons un certain nombre de critères et de méthodes de sélection construites de façon à identifier un sous-ensemble de variables de qualité acceptable que l'on qualifiera de"meilleur" sous-ensemble de variables.