Inferenza bayesiana sul bias di una moneta
Consideriamo una moneta di cui vogliamo sapere se sia imperfetta e quanto, ad esempio perché vogliamo scommettere sull'uscita di una faccia.
Potremmo affidarci a ipotesi esaurienti e tra loro incompatibili come:
Hi = "esce T con probabilità i %" per i=0,10,20,..,100
A ciascuna di queste ipotesi attribuiremo un livello di fiducia iniziale. Potremo ad esempio supporre ottimisticamente che quasi certamente la moneta non sia truccata, senza però escludere completamente altre possibilità.
Successivamente, effettuato l'esperimento consentito si applica la formula di Bayes per aggiornare i livelli di fiducia in ciascuna ipotesi in modo tale che, aumentando l'esperienza, la teoria aderisca sempre più alla realtà.
Un modo più raffinato di considerare la questione è trattare la “probabilità che esca testa”, il bias della moneta, come una variabile aleatoria continua sconosciuta a valori [0,1], la nostra incertezza epistemica su quel valore.
Nella formula di Bayes occorrerà quindi passare da probabilità a densità di probabilità e da somme a integrali. La formula diventa:
\[f(x∣E)=\frac{f(E∣x) f(x)}{\int f(E∣x) f(x) dx}.\]
dove \(f(x)\) è la densità prior, \(f(E∣x)\) è la verosimiglianza, \(f(x∣E)\) è la densità posterior.
In particolare dopo ogni lancio della moneta la verosimiglianza risponde alla domanda “Se il bias fosse x, quanto sarebbe probabile l'esito E?”:
\[\begin{cases}f(E=Testa∣x)=x\\
f(E=Croce∣x)=1−x \end{cases}.\]
Il prior risponde alla domanda “Prima di lanciare la moneta, quanto ritengo plausibile x?”, il posterior risponde alla domanda “Dopo aver visto l'esito del lancio, quanto ritengo ancora plausibile x?”
Quindi se iniziamo con un prior che sia uniforme \(f(x)=1\), \[ \begin{cases} f(x∣E=Testa)=\frac{x}{\int x dx}= 2 x\\ f(x∣E=Croce)=\frac{1-x}{\int 1-x dx}= 2(1- x)\end{cases}.\] Nel seguito: \[ \begin{cases}f(x∣E=Testa)=\frac{xf(x)}{\int xf(x) dx}\\f(x∣E=Croce)=\frac{(1-x)f(x)}{\int (1-x)f(x) dx}\end{cases}.\]
La distribuzione Beta(𝛼,𝛽),
\[{\displaystyle f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{\int _{0}^{1}x^{\alpha -1}(1-x)^{\beta -1}dx}}}\]
che ha media \(\frac{\alpha}{\alpha + \beta}\) e varianza \(\frac{\alpha\beta}{(\alpha + \beta)^2(\alpha + \beta+1)},\) inizialmente con parametri entarambi unitari se non propendimo per nessuna ipotesi oppure ad esempio \(\alpha =\beta=10\) se siamo abbastanza convinti che la moneta sia onesta, è la scelta matematicamente più naturale, più semplice e più potente per modellare un parametro di Bernoulli/Binomiali.
La distribuzione prior Beta(𝛼,𝛽) si aggiorna incrementando α di un'unità ogni volta che esce Testa
e incrementando β di un'unità ogni volta che esce Croce.
Possiamo visualizzare la densità di probabilità della distribuzione posterior, la cui media, cioè la stima del bias 𝑝 della moneta è \(\frac{\alpha}{\alpha + \beta}.\)
Si osservi come la curva si restringa e trasli man mano che si accumula evidenza.
Questo della moneta è un esempio quelle situazioni riconducibili a ciò che in letteratura è detto Test A/B bayesiano come: le probabilità di vincita di uno tra due cadidati alle rielezioni dopo un sondaggio, la scelta tra due versioni di una pagina web diversificate ad esempio dal colore di un pulsante sapendo su 1000 utenti quanti hanno scelto l'una e quanti l'altra.
Nell'approccio frequentista si parte dal presupposto che non ci sia alcuna differenza tra A e B. Questa è chiamata ipotesi nulla. Al termine del test, si ottiene un p-value: minore è il p-value, maggiore è la probabilità che esista una reale differenza tra A e B anche se non si sa di quanto. Se ad esempio p-value > 0.05 non si può rifiutare l'ipotesi nulla, ovvero non ci sono prove sufficienti per affermare che esiste una differenza tra A e B.
- Introduction to Bayesian A/B Testing, by PyMC