Il Circolo Matematico "Martin Gardner" nasce nel lontano 1995, grazie ad un'idea del professor Nando Geronimi.

Il suo grande amore per la matematica lo porta alla divulgazione di questa materia vista come una disciplina affascinante, intorno alla quale tutto ruota, dove in ogni particolare ritroviamo i numeri e dove "tutto è numero".

Nel 1994 vengono quindi gettate le basi per quello che diventerà l’attuale Circolo intitolato a Martin Gardner, divulgatore scientifico ed ideatore di giochi matematici e rompicapi. Nello stesso anno vi è la prima edizione dei Giochi Matematici, che all'epoca consisteva in un pomeriggio di gare all’interno della sagra del Pesce, organizzata dalla Pro Loco di Caldè, tant'è che in più occasioni l'evento è stato soprannominato "La sagra del pesce algebrico".

L’anno di svolta per il Circolo e per “Tutto è Numero” è il 2000 quando si intensificano i rapporti con il Centro Pristem dell’Università Bocconi e il Prof. Geronimi accompagna i vincitori dei giochi nazionali matematici a Parigi, per la finale internazionale.

Da qui l’idea di organizzare proprio a Caldè, sede dell'associazione, una fase di allenamento e preparazione della squadra nazionale italiana, in previsione proprio della finale parigina.

Dal 2001 che la manifestazione comincia ad assumere una connotazione autonoma, occupando più giorni e spazi a lei dedicati; a partire dal 2005 per le sempre maggiori richieste e l’entusiasmo dimostrato nei suoi confronti le saranno riconosciuti quattro giorni.

Dal 2013, con l'ingresso di alcuni nuovi membri, l'associazione punta ad accrescere il suo patrimonio online, attraverso la creazione di un portale e di servizi online dedicati ai partecipanti.

Dal 2019 il circolo prende seriamente a cuore il problema dell'impatto ambientale, lavorando a strategie per divenire quasi totalmente "amico dell'ambiente". Accresce inoltre il peso dato agli strumenti informatici, permettendo la partecipazione soltanto se iscritti da portale ed introducendo innovativi sistemi di pagamento che non prevedano l'utilizzo di denaro contante durante tutta la manifestazione.