Bien que les paramètres d`un modèle de régression sont généralement estimés à l`aide de la méthode des moindres carrés, d`autres méthodes qui ont été utilisées comprennent: lors de la sélection du modèle pour l`analyse, une considération importante est le montage du modèle. L`ajout de variables indépendantes à un modèle de régression linéaire augmentera toujours la variance expliquée du modèle (généralement exprimée en R ²). Toutefois, le surajustement peut se produire en ajoutant trop de variables au modèle, ce qui réduit la généralisabilité du modèle. Le rasoir d`Occam décrit le problème extrêmement bien – un modèle simple est généralement préférable à un modèle plus complexe. Statistiquement, si un modèle inclut un grand nombre de variables, certaines des variables seront statistiquement significatives en raison du hasard seul. Les variables indépendantes et dépendantes font souvent référence aux valeurs mesurées à des endroits ponctuels. Il peut y avoir des tendances spatiales et l`autocorrélation spatiale dans les variables qui violent les hypothèses statistiques de régression. La régression pondérée géographique est une technique pour traiter ces données. [19] en outre, les variables peuvent inclure des valeurs agrégées par zones.

Avec les données agrégées, le problème de l`unité surfacale modifiable peut entraîner une variation extrême des paramètres de régression. [20] lors de l`analyse des données agrégées par les frontières politiques, les codes postaux ou les résultats des zones de recensement peuvent être très distincts avec un choix différent d`unités. La plupart des programmes de régression des moindres carrés sont conçus pour s`adapter aux modèles qui sont linéaires dans les coefficients. Lorsque l`analyste souhaite s`adapter à un modèle intrinsèquement non linéaire, une procédure numérique doit être utilisée. La procédure STATGRAPHICS des moindres carrés non linéaires utilise un algorithme en raison de Marquardt pour s`adapter à toute fonction saisie par l`utilisateur. Pour illustrer l`interprétation des coefficients dans un modèle de régression, nous commençons par l`équation suivante: ce ne sont pas vraiment différents types de modèles de régression en soi. Il s`agit d`un mélange de différentes techniques avec des caractéristiques différentes, qui peuvent tous être utilisés pour la régression linéaire, la régression logistique ou tout autre type de modèle linéaire généralisé. Les techniques de construction de modèles par étapes pour les conceptions de régression avec une seule variable dépendante sont décrites dans de nombreuses sources (p. ex., voir Darlington, 1990; Hocking, 1966, Lindeman, Merenda et Gold, 1980; Morrison, 1967; Neter, Wasserman, et Kutner, 1985; Pedhazur, 1973; Stevens, 1986; Plus jeune, 1985). Les procédures de base impliquent (1) d`identifier un modèle initial, (2) itérativement «pas à pas», c`est-à-dire, en modifiant à plusieurs reprises le modèle à l`étape précédente en ajoutant ou en supprimant une variable de prédicteur conformément aux «critères d`étape» et (3) en terminant la recherche lorsque l`étape n`est plus possible compte tenu des critères d`étape, ou lorsqu`un nombre maximal spécifié d`étapes a été atteint.