Systèmes rectangulaires et moindres carrés
Objectifs d'apprentissage
À la fin de cette leçon, vous serez en mesure de :
- Classifier les systèmes linéaires selon leur nombre d'équations et d'inconnues
- Identifier les systèmes surdéterminés et sous-déterminés
- Appliquer la méthode des moindres carrés pour trouver une solution approximative
- Résoudre les équations normales
- Comprendre l'interprétation géométrique de la solution des moindres carrés
Prérequis
- Élimination de Gauss
- Factorisation LU
- Transposée de matrice
Systèmes rectangulaires
Jusqu'à présent, nous avons étudié des systèmes carrés : équations et inconnues. En pratique, on rencontre souvent des systèmes rectangulaires.
Système surdéterminé ()
Plus d'équations que d'inconnues :
Situations possibles :
- Les équations sont redondantes : certaines sont des combinaisons linéaires des autres
- Les équations sont inconsistantes : il n'existe aucune solution exacte
Système surdéterminé : plus d'équations que d'inconnues
5 points de données, 2 paramètres à trouver (a, b pour y = a + bt)
Système sous-déterminé ()
Moins d'équations que d'inconnues :
Si le système est compatible, il existe une infinité de solutions. On cherche souvent la solution de norme minimale.
La méthode des moindres carrés
Le problème
Pour un système surdéterminé inconsistant, on ne peut pas trouver tel que exactement.
On cherche plutôt le qui minimise l'erreur :
Ce minimise la somme des carrés des résidus, d'où le nom « moindres carrés ».
Interprétation géométrique
Projection orthogonale
La solution des moindres carrés est celle pour laquelle est la projection orthogonale de sur l'espace image de .
Le résidu est orthogonal à toutes les colonnes de .
Visualisation des résidus
Le résidu r = y - (a + bt) mesure l'écart entre données et modèle
| t | y (observé) | ŷ (prédit) | r (résidu) | r² |
|---|---|---|---|---|
| 0 | 1.10 | 1.06 | +0.040 | 0.0016 |
| 1 | 2.00 | 2.03 | -0.030 | 0.0009 |
| 2 | 2.90 | 3.00 | -0.100 | 0.0100 |
| 3 | 4.10 | 3.97 | +0.130 | 0.0169 |
| 4 | 4.90 | 4.94 | -0.040 | 0.0016 |
| Σr² = | 0.0310 | |||
Les équations normales
Dérivation
Pour minimiser , on dérive par rapport à et on égale à zéro.
En développant :
La dérivée par rapport à donne :
D'où les équations normales :
Solution
Si a des colonnes linéairement indépendantes, alors est inversible et :
Attention
En pratique, on ne calcule jamais explicitement . On résout plutôt le système par factorisation LU ou Cholesky.
Exemple : régression linéaire
Problème
On dispose de points de données et on cherche la droite qui s'ajuste le mieux.
Formulation matricielle
Le système surdéterminé est :
La matrice (appelée matrice de design) a lignes et 2 colonnes.
Ajustement par moindres carrés
Ajustez a et b pour minimiser la somme des carrés des résidus
Somme des carrés des résidus
0.0400
a* = 1.060, b* = 0.970
Algorithme
import numpy as np
def moindres_carres(A, b):
"""
Résout le problème des moindres carrés : min ||Ax - b||²
en utilisant les équations normales.
"""
# Former A^T A et A^T b
ATA = A.T @ A
ATb = A.T @ b
# Résoudre le système A^T A x = A^T b
x = np.linalg.solve(ATA, ATb)
return x
def regression_lineaire(t, y):
"""
Régression linéaire : trouve a et b tels que y ≈ a + b*t
"""
m = len(t)
# Matrice de design
A = np.column_stack([np.ones(m), t])
# Moindres carrés
coeffs = moindres_carres(A, y)
return coeffs[0], coeffs[1] # a, b
# Exemple
t = np.array([0, 1, 2, 3, 4])
y = np.array([1.1, 2.0, 2.9, 4.1, 4.9])
a, b = regression_lineaire(t, y)
print(f"Droite : y = {a:.3f} + {b:.3f}*t")
# Calcul des résidus
residus = y - (a + b * t)
print(f"Résidus : {residus}")
print(f"Norme des résidus : {np.linalg.norm(residus):.4f}")Qualité de l'ajustement
Résidu
Le vecteur résidu est :
Sa norme mesure la qualité de l'ajustement. Plus elle est petite, meilleur est l'ajustement.
Coefficient de détermination R²
où est la moyenne de .
- : ajustement parfait
- : pas mieux qu'une constante
- proche de 1 : bon ajustement
Exemple numérique complet
Données :
Matrice de design :
Équations normales :
Solution :
En résolvant : ,
Droite ajustée :
Résumé
| Type de système | Caractéristique | Solution |
|---|---|---|
| Carré () | Solution unique (si non singulier) | Gauss, LU |
| Surdéterminé () | Généralement pas de solution exacte | Moindres carrés |
| Sous-déterminé () | Infinité de solutions | Norme minimale |
Équations normales :
Applications : régression, ajustement de courbes, traitement du signal, apprentissage automatique.
Pour aller plus loin
La prochaine leçon abordera le rang d'une matrice, les matrices singulières et le calcul des déterminants, des concepts essentiels pour comprendre quand un système a une solution unique.