Regressione bayesiana

---

Dato un elenco di punti del piano, la regressione lineare classica (OLS Ordinary Least Squares) trova una retta, quella che minimizza la somma dei quadrati degli errori. La regressione bayesiana trova invece una distribuzione di rette, ognuna con la sua credenza associata. Non risponde "la retta è questa", ma "ecco quanto sono credibili tutte le rette possibili sulla base di questi dati".
Data una serie di coppie \((x, y),\) il modello lineare assume: \[y = α + β·x + ε\] dove \(α\) è l'intercetta, \(β\) è la pendenza, e \(ε\) è il rumore gaussiano con deviazione standard \(σ.\) In regressione classica si trovano i valori di \(α\) e \(β\) che meglio si adattano ai dati e si ottiene un'unica stima puntuale.
Il bayesiano pone la stessa domanda in modo diverso: dati i valori osservati di \(y,\) qual è la distribuzione a posteriori di \(α\) e \(β?\) Quali combinazioni di intercetta e pendenza sono credibili, e con che peso?
I parametri \(α\) e \(β\) non sono numeri ma variabili casuali alle quali:

• prima di vedere i dati, assegniamo un prior, una distribuzione a priori comead esempio una gaussiana centrata su zero con varianza ampia, che dice "non si sa dove stanno, ma valori estremi sembrano meno probabili";
• quando arrivano i dati, la likelihood — quanto quei dati sono probabili sotto ogni combinazione di \((α, β)\) — aggiorna il prior attraverso Bayes fornendo un posterior: una distribuzione bidimensionale su \((α, β)\) che aggiorna le nostre credenze sui parametri.

Questo posterior ha tre proprietà importanti che mancano alla regressione classica: esprime l'incertezza sui parametri, permette di fare predizioni con bande di credibilità oneste, si aggiorna naturalmente quando arrivano nuovi dati.

Dalla distribuzione a posteriori su \((α, β)\) si ricava una distribuzione a posteriori anche su ogni predizione \(ŷ\) per un nuovo \(x.\)
Invece di una singola retta, si ottiene un fascio di rette — ciascuna campionata dal posterior — e la dispersione di quel fascio è una misura diretta dell'incertezza predittiva. Con pochi dati, il fascio è ampio: molte rette sono ancora credibili. Con molti dati, il fascio si stringe attorno alla retta più sostenuta dall'evidenza. L'incertezza si riduce onestamente al crescere dell'informazione.

Il seguente simulatore è interattivo: clicca sul grafico per aggiungere punti oppure usa "Carica esempio" per partire da un dataset predefinito. Osserva come il pannello di destra — la distribuzione a posteriori su \((α, β)\) — si restringe ad ogni nuovo punto aggiunto.

La regressione bayesiana con prior gaussiani e rumore gaussiano ha una soluzione analitica chiusa, che il simulatore calcola esattamente. Il modello è: \[y = α + β·x + ε, \quad ε \sim N(0, σ^2_n)\] I prior sono gaussiani indipendenti: \(α, β \sim N(0, σ^2_p).\) Dati \(n\) punti osservati, il posterior è anch'esso gaussiano — questa è la proprietà di coniugazione che rende il modello trattabile — con media e covarianza: \[Σ_{post} = (X^T X / σ^2_n + I/σ^2_p)⁻¹\] \[μ_{post} = Σ_{post} · X^T y / σ^2_n\] dove \(X\) è la matrice di design con colonne \([1, x].\) La banda di credibilità al 95% per una nuova predizione combina l'incertezza sui parametri (varianza parametrica, che decresce con i dati) e il rumore osservazionale (\(σ^2_n,\) che rimane costante).

Aggiungendo pochi punti si vede immediatamente come il fascio di rette campionate sia ampio e il pannello posteriore mostri una macchia diffusa. L'incertezza è dovuta alla non sufficiente informazione per identificare i parametri.
Aumentando il Prior σ (slider in alto a destra), il prior diventa meno informativo: le rette plausibili coprono un range più ampio prima di vedere i dati, ma dopo pochi dati convergono altrettanto velocemente. Con un Prior σ basso, invece, il modello è "tirato" verso \(α=0\) e \(β=0\) anche di fronte a dati che suggerirebbero altro — è la regolarizzazione bayesiana, equivalente alla ridge regression, tecnica di regolarizzazione utilizzata per prevenire l'overfitting nei modelli di regressione lineare mediante l'aggiunta di una penalità alla dimensione dei coefficienti, che riduce le stime dei parametri verso lo zero, introducendo una piccola quantità di bias in cambio di una varianza significativamente inferiore, con conseguenti previsioni migliori su nuovi dati.
Il Rumore σ controlla quanto il modello si fida di ogni singola osservazione. Con rumore alto, le bande di credibilità rimangono ampie anche con molti dati, perché il modello sa che ogni punto è una misura imprecisa. Con rumore basso, la retta si adatta strettamente ai punti.

La regressione OLS dà un'unica risposta puntuale e poi, attraverso la statistica frequentista, costruisce intervalli di confidenza per i parametri. Questi intervalli hanno l'interpretazione scomoda vista in precedenza: non dicono "\(β\) sta qui con 95% di probabilità", ma "se ripetessimo l'esperimento molte volte, il 95% degli intervalli conterrebbe il vero \(β\)".
L'intervallo credibile bayesiano risponde direttamente alla domanda che ci si pone: dato ciò che ho osservato, dove si trova probabilmente β? Con prior non informativi, i due approcci danno risultati numericamente quasi identici — ma la regressione bayesiana guadagna terreno nei casi in cui i dati sono pochi, il prior è informativo, o si vuole propagare l'incertezza sui parametri alle predizioni future in modo formalmente corretto.
Con molti dati e prior deboli, i due approcci convergono. La regressione bayesiana non è sempre migliore ma è più esplicita: rende visibile ciò che la regressione classica nasconde nelle assunzioni.