Il paradosso dei falsi positivi
Il paradosso dei falsi positivi è un fenomeno statistico dove un test altamente accurato produce più risultati errati che corretti quando la condizione cercata è molto rara nella popolazione.
Questo accade a causa della fallacia del tasso di base (base rate fallacy) per cui tendiamo a concentrarci sulla precisione del test ignorando quanto sia raro l'evento in generale.
Immaginiamo di testare una malattia rarissima che colpisce solo 1 persona su 1.000 (tasso di base dello 0,1%) in una città di 10.000 abitanti: 10 malati e 9.990 sani.
Supponiamo che il Test abbia un'accuratezza del 99%, ovvero che sbaglia l'1% delle volte.
Se testiamo tutti i 10.000 cittadini:
- Sui 10 malati: Il test ne individua quasi certamente tutti (o 10 su 10).
- Sui 9.990 sani: Il test sbaglia l'1%. Quindi, produrrà circa 100 falsi positivi (1% di 9.990).
Dunque
- Medicina: Spiega perché gli screening di massa su malattie rare possono causare ansia inutile e interventi medici non necessari.
- Sicurezza e Antispam: Sistemi che cercano minacce rare (terroristi in aeroporto o virus informatici rari) rischiano di bloccare troppi innocenti o file sicuri.
- Giustizia: Aiuta a capire il rischio di condannare qualcuno basandosi solo su prove statistiche isolate (come il DNA) senza considerare il contesto.
Il paradosso si risolve matematicamente applicando il Teorema di Bayes, che permette di aggiornare la probabilità di un evento man mano che si aggiungono nuove informazioni.
Dai dati
- prevalenza o probabilità di essere malati \(p(M) = 0,001\),
- sensibilità o probabilità che il test sia positivo se sei malato \(p(P|M)= 0,99\),
- Specificità o probabilità che il test sia negativo se sei sano \(p(N|S) = 0,99\),
- Tasso di Falsi Positivi o probabilità che il test sia positivo se sei sano \(p(P|S)= 0,01\),
Dalla formula di Bayes $$p(M|P) = \frac{p(P|M) \cdot p(M)}{p(P)}$$ dove \(p(P)= p(P|M) \cdot p(M)+ p(P|S) \cdot p(S)\), probabilità totale di avere un test positivo, con:
- veri Positivi \(p(P|M) \cdot P(M) = 0,99 \cdot 0,001 = \mathbf{0,00099},\)
- falsi Positivi \(p(P|S) \cdot P(S) = 0,01 \cdot 0,999 = \mathbf{0,00999}\)
Questo accade perché i falsi positivi, generati dalla massa enorme di sani, "sommergono" i veri positivi, generati dalla piccolissima cerchia di malati.
Per questo motivo, in medicina, dopo un primo test positivo su una malattia rara si procede sempre con un secondo test di conferma basato su una tecnologia diversa.
Possiamo dare una visualizzazione bayesiana del paradosso dei falsi positivi considerando una popolazione di 1000 individui rappresentati da quadratini sul Canvas, colorati in base a:
- Malato con test positivo (veri positivi)
- Sano con test positivo (falsi positivi)
- Malato con test negativo (falsi negativi)
- Sano con test negativo (veri negativi)
- aumentando la rarità il test diventa meno affidabile,
- anche test ottimi possono ingannare,
- il problema non è il test ma la probabilità iniziale.
%
%
- Examples, Tables, and Proof Sketches, by James Joyce