Systèmes rectangulaires et moindres carrés

Objectifs d'apprentissage

À la fin de cette leçon, vous serez en mesure de :

Classifier les systèmes linéaires selon leur nombre d'équations et d'inconnues
Identifier les systèmes surdéterminés et sous-déterminés
Appliquer la méthode des moindres carrés pour trouver une solution approximative
Résoudre les équations normales
Comprendre l'interprétation géométrique de la solution des moindres carrés

Prérequis

Élimination de Gauss
Factorisation LU
Transposée de matrice

Systèmes rectangulaires

Jusqu'à présent, nous avons étudié des systèmes carrés : $n$ équations et $n$ inconnues. En pratique, on rencontre souvent des systèmes rectangulaires.

Système surdéterminé ( $m > n$ )

Plus d'équations que d'inconnues :

A \cdot x = b, \quad A \in \mathbb{R}^{m \times n}, \quad m > n

Situations possibles :

Les équations sont redondantes : certaines sont des combinaisons linéaires des autres
Les équations sont inconsistantes : il n'existe aucune solution exacte

Système sous-déterminé ( $m < n$ )

Moins d'équations que d'inconnues :

A \cdot x = b, \quad A \in \mathbb{R}^{m \times n}, \quad m < n

Si le système est compatible, il existe une infinité de solutions. On cherche souvent la solution de norme minimale.

La méthode des moindres carrés

Le problème

Pour un système surdéterminé inconsistant, on ne peut pas trouver $x$ tel que $A \cdot x = b$ exactement.

On cherche plutôt le $x$ qui minimise l'erreur :

\min_x \|A \cdot x - b\|_2^2 = \min_x \sum_{i=1}^{m} (\text{ligne}_i \cdot x - b_i)^2

Ce $x$ minimise la somme des carrés des résidus, d'où le nom « moindres carrés ».

Interprétation géométrique

💡

Projection orthogonale

La solution des moindres carrés $x_0$ est celle pour laquelle $A \cdot x_0$ est la projection orthogonale de $b$ sur l'espace image de $A$ .

Le résidu $r = b - A \cdot x_0$ est orthogonal à toutes les colonnes de $A$ .

Les équations normales

Dérivation

Pour minimiser $\|A \cdot x - b\|^2$ , on dérive par rapport à $x$ et on égale à zéro.

En développant :

\|A \cdot x - b\|^2 = (A x - b)^T (A x - b) = x^T A^T A x - 2 b^T A x + b^T b

La dérivée par rapport à $x$ donne :

2 A^T A x - 2 A^T b = 0

D'où les équations normales :

A^T A \cdot x_0 = A^T b

Solution

Si $A$ a des colonnes linéairement indépendantes, alors $A^T A$ est inversible et :

x_0 = (A^T A)^{-1} A^T b

⚠️

Attention

En pratique, on ne calcule jamais explicitement $(A^T A)^{-1}$ . On résout plutôt le système $A^T A \cdot x = A^T b$ par factorisation LU ou Cholesky.

Exemple : régression linéaire

Problème

On dispose de $m$ points de données $(t_i, y_i)$ et on cherche la droite $y = a + b \cdot t$ qui s'ajuste le mieux.

Formulation matricielle

Le système surdéterminé est :

\begin{pmatrix} 1 & t_1 \\ 1 & t_2 \\ \vdots & \vdots \\ 1 & t_m \end{pmatrix} \begin{pmatrix} a \\ b \end{pmatrix} = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_m \end{pmatrix}

La matrice $A$ (appelée matrice de design) a $m$ lignes et 2 colonnes.

Algorithme

moindres_carres.pypython

import numpy as np

def moindres_carres(A, b):
  """
  Résout le problème des moindres carrés : min ||Ax - b||²
  en utilisant les équations normales.
  """
  # Former A^T A et A^T b
  ATA = A.T @ A
  ATb = A.T @ b

  # Résoudre le système A^T A x = A^T b
  x = np.linalg.solve(ATA, ATb)

  return x

def regression_lineaire(t, y):
  """
  Régression linéaire : trouve a et b tels que y ≈ a + b*t
  """
  m = len(t)
  # Matrice de design
  A = np.column_stack([np.ones(m), t])

  # Moindres carrés
  coeffs = moindres_carres(A, y)

  return coeffs[0], coeffs[1]  # a, b

# Exemple
t = np.array([0, 1, 2, 3, 4])
y = np.array([1.1, 2.0, 2.9, 4.1, 4.9])

a, b = regression_lineaire(t, y)
print(f"Droite : y = {a:.3f} + {b:.3f}*t")

# Calcul des résidus
residus = y - (a + b * t)
print(f"Résidus : {residus}")
print(f"Norme des résidus : {np.linalg.norm(residus):.4f}")

Qualité de l'ajustement

Résidu

Le vecteur résidu est :

r = b - A \cdot x_0

Sa norme $\|r\|$ mesure la qualité de l'ajustement. Plus elle est petite, meilleur est l'ajustement.

Coefficient de détermination R²

R^2 = 1 - \frac{\|r\|^2}{\|b - \bar{b}\|^2}

où $\bar{b}$ est la moyenne de $b$ .

$R^2 = 1$ : ajustement parfait
$R^2 = 0$ : pas mieux qu'une constante
$R^2$ proche de 1 : bon ajustement

Exemple numérique complet

Données : $(0, 1.1), (1, 2.0), (2, 2.9), (3, 4.1), (4, 4.9)$

Matrice de design :

A = \begin{pmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \\ 1 & 3 \\ 1 & 4 \end{pmatrix}, \quad b = \begin{pmatrix} 1.1 \\ 2.0 \\ 2.9 \\ 4.1 \\ 4.9 \end{pmatrix}

Équations normales :

A^T A = \begin{pmatrix} 5 & 10 \\ 10 & 30 \end{pmatrix}, \quad A^T b = \begin{pmatrix} 15 \\ 39.7 \end{pmatrix}

Solution :

\begin{pmatrix} 5 & 10 \\ 10 & 30 \end{pmatrix} \begin{pmatrix} a \\ b \end{pmatrix} = \begin{pmatrix} 15 \\ 39.7 \end{pmatrix}

En résolvant : $a = 1.06$ , $b = 0.97$

Droite ajustée : $y = 1.06 + 0.97t$

Résumé

Type de système	Caractéristique	Solution
Carré ( $m = n$ )	Solution unique (si non singulier)	Gauss, LU
Surdéterminé ( $m > n$ )	Généralement pas de solution exacte	Moindres carrés
Sous-déterminé ( $m < n$ )	Infinité de solutions	Norme minimale

Équations normales : $A^T A \cdot x = A^T b$

Applications : régression, ajustement de courbes, traitement du signal, apprentissage automatique.

Pour aller plus loin

La prochaine leçon abordera le rang d'une matrice, les matrices singulières et le calcul des déterminants, des concepts essentiels pour comprendre quand un système a une solution unique.