Classificatore Bayesiano 2D

---

Un classificatore Bayesiano usa il Teorema di Bayes per calcolare la probabilità che un elemento appartenga a una certa classe basandosi sulle sue caratteristiche (features). Sono esempi di classificatori anche i filtri anti-spam, in medicina le diagnosi basate su sintomi, in finanza la classificazione transazioni fraudolente, nei social media l'analisi del sentiment, in ambito di ricerca la classificazione di documenti per argomento.

Un esempio geometrico di classificatore, date due classi \(C_1\) e \(C_2\) gaussiane di punti del piano, determina a quale classe è più probabile appartenga un dato punto \(\mathbf{x}=(x,y).\)

• Prior delle classi, probabilità a priori che un punto qualunque appartenga a una classe: \[ p(C_1) = \pi_1,\quad p(C_2) = \pi_2,\quad \pi_1 + \pi_2 = 1 \]
• Likelihood, da cui ricavare la probabilità che il punto \(\mathbf{x}\) appartenga alla classe presupponendo abbia le stesse caratteristiche: \[ \mathbf{x} \mid C_k \sim \mathcal{N}(\boldsymbol{\mu}_k,\mathbf{\Sigma}_k),\quad k=1,2 \]
• Probabilità a posteriori non normalizzata della classe, che un punto qualunque appartenga alla classe presuppunendo che \(\mathbf{x}\) le appartenga: \[ p(C_k \mid \mathbf{x}) \propto p(\mathbf{x} \mid C_k) p(C_k),\quad k=1,2 \]
• Decisione bayesiana (classificatore MAP): \[ \hat{C}(\mathbf{x}) = \arg\max_k\ p(C_k \mid \mathbf{x}) \]

Nella simulazione che segue useremo parametri fissati per le due gaussiane che generano i punti casuali per ciascuna classe visualizzandoli in due diverse colorazioni.
Il classificatore bayesiano 2D colora il piano a seconda che il punto sia più "vicino" all'uno o all'altro insieme:

• in ogni punto \(\mathbf{x}=(x,y)\) confronta \(\mathcal{N}(\boldsymbol{\mu}_1,\mathbf{\Sigma}_1)\pi_1\) con \(\mathcal{N}(\boldsymbol{\mu}_2,\mathbf{\Sigma}_2)\pi_2,\)
• considerando \(\mathcal{N}(\boldsymbol{\mu}_k,\mathbf{\Sigma}_k)\pi_k=\mathcal{N}(\mu_{x,k},\sigma_{x,k})\mathcal{N}(\mu_{y,k},\sigma_{y,k})\pi_k\) si semplifica la questione (classificatore bayesiano naive),
• colora secondo la classe con posterior non normalizzato maggiore.

Rigenerando \(C_1\) e \(C_2\) con gli stessi parametri si può osservare la stabilità della frontiera.