Il borgo è racchiuso dalle mura del Duecento, attraversato da due strade principali che si incrociano in due splendide piazze. Torri e case-torri, che appartenevano all'antica aristocrazia locale dei mercanti e dei finanzieri, si affacciano ancora oggi come allora imponenti sulle stradine lastricate elevandosi svettanti al di sopra degli altri edifici.
Alcune sono perfettamente conservate, altre venivano mozzate in epoca antica, quando la famiglia aristocratica sua proprietaria cadeva in disgrazia: gli abitanti di San Gimignano erano noti per essere alquanto turbolenti e le faide anche sanguinarie erano all'ordine del giorno.
Il luogo dove sorge la città, strategico per dominare la valle e difendersi dai nemici, era stato già occupato in tempi molto antichi: secondo i ritrovamenti archeologici (tombe, per la maggior parte) si erano già insediati qui gli Etruschi, almeno dal III secolo a.C., poi erano arrivati i Romani che avevano dato alla città il nome di Silvia.
San Gimignano, che diede il nome alla città, era il vescovo santo di Modena e, secondo la tradizione, aveva liberato questo piccolo villaggio dai barbari dopo la caduta dell'impero romano.
Nel Medioevo la città raggiunse il massimo del suo splendore. Secondo la leggenda Desiderio, il re dei Longobardi, aveva abitato qui e il grande imperatore del Sacro Romano Impero, Carlo Magno, si era fermato in questo splendido luogo dopo la sua vittoria sulle armate longobarde.
San Gimignano comunque deve molto del suo fascino alle torri medievali che ancora svettano sul suo panorama, che le hanno valso il soprannome di Manhattan del medioevo. Delle 72 tra torri e case-torri, esistenti nel periodo d'oro del Comune, ne restavano venticinque nel 1580 ed oggi ne restano sedici, con altre scapitozzate intravedibili nel tessuto urbano.