La denominazione “Monte Carlo”, dal famoso Casinò nel Principato di Monaco, fu coniato negli anni ’40 da Stanislaw Ulam, Nicholas Metropolis e John von Neumann, durante i lavori al progetto Manhattan, per indicare una famiglia di metodi numerici basati sull’uso sistematico del caso.
L’idea di usare numeri casuali per stimare quantità deterministiche è però più antica:
già Buffon nel XVIII secolo esaminò un problema di probabilità, il cosiddetto ago di Buffon, che suggerisce un esperimento per stimare π.
Stanislaw Ulam, convalescente da una malattia, rifletté sulle possibilità di utilizzare processi casuali per risolvere problemi matematici di natura non deterministica. La discussione di questa idea con John von Neumann portò alla formulazione di un approccio statistico per affrontare i problemi di criticità e diffusione relativi alla propagazione dei neutroni nei materiali fissili, un aspetto essenziale della progettazione delle armi nucleari. John von Neumann, riconoscendo il potenziale delle idee di Ulam, contribuì alle basi teoriche e alle tecniche computazionali che facilitarono l'utilizzo dei metodi di campionamento casuale.
Una delle prime applicazioni su larga scala del metodo Monte Carlo, sulla diffusione casuale di neutroni termici, fu eseguita sull'ENIAC, uno dei primi computer elettronici per uso generale.
L'evoluzione della tecnologia informatica nella seconda metà del XX secolo, in particolare della potenza di calcolo, ha fornito un impulso significativo ai metodi Monte Carlo riducendo i tempi necessari per ottenere i risultati e aumentando la precisione delle simulazioni, più estese e complesse. Lo sviluppo di algoritmi come l'algoritmo Metropolis per il campionamento da distribuzioni di probabilità ha dimostrato la crescente sofisticazione dei metodi Monte Carlo, particolarmente utili quando lo spazio delle configurazioni è ad alta dimensione, le soluzioni analitiche sono inaccessibili o troppo complicate, si vogliono stimare medie e probabilità.
Di grande utilità pratica innanzitutto nella risoluzione di problemi fisici complessi, dalla fisica delle particelle alla meccanica statistica, oggi i metodi Monte Carlo sono strumenti fondamentali in molte altre aree: dal pricing di strumenti finanziari alla valutazione del rischio, fino all’intelligenza artificiale.Principio chiave alla base dell'affidabilità dei metodi Monte Carlo è la Legge dei Grandi Numeri secondo la quale all'aumentare del numero di prove in una simulazione Monte Carlo, la media campionaria, ovvero la stima, convergerà al valore atteso. Per garantire l'accuratezza delle stime Monte Carlo e ottenere risultati affidabili va dunque sottolineata l'importanza della dimensione dei campioni utilizzati.
Il Teorema del limite centrale fornisce poi informazioni riguardo l'accuratezza: la deviazione standard della stima è \(\frac{𝜎}{\sqrt N,}\). Dunque la precisione della stima cresce come \(\frac{1}{\sqrt N}\) indipendentemente dalla dimensione del problema, motivo per cui Monte Carlo è molto amato in alta dimensione visto che il costo per dimezzare l’errore è sempre “solo” moltiplicare \(N\) per 4.