Le antiche origini di Colle Val d'Elsa sono documentate da numerosi resti riferibili soprattutto al periodo etrusco-ellenistico e all'epoca romana.
In epoca romana gli abitanti stavano a fondo valle, ma si ritirarono sulle colline con l'arrivo dei barbari. Data la sua posizione dominante la Val D'Elsa, era di notevole importanza strategica e fu oggetto di contesa fra Senesi e Fiorentini, fino a quando i residenti del borgo non si misero sotto la protezione fiorentina nel 1107. Una fiducia che i Fiorentini ripagarono fortificando tutto il borgo.
Firenze cambiò anche il nome del paese, da Piticcino a Castrum Collis, che è divenuto poi Colle.
Attorno al 1150 i Senesi e altri nobili che volevano limitare l'espansione fiorentina nella zona stilarono un nuovo tracciato della Via Franchigena, che evitasse il territorio fiorentino. Ma Colle era equidistante fra la via vecchia e quella nuova, e di conseguenza la sua importanza aumentò.
Anche l'industria fiorì. L'arte della lana ebbe un ruolo importante, e il fiume fu canalizzato, rendendo possibile lo sviluppo di cartiere. Cominciarono a lavorare il ferro, aprirono vetrerie, e anche una delle prime tipografie italiane, nel 1478. A Colle hanno vissuto uomini illustri come Arnolfo di Cambio (architetto a cui si devono la Cattedrale fiorentina e il Palazzo Vecchio a Firenze) e Cennino Cennini (pittore).
Nei pressi del castello si trova il Duomo, il Palazzo Pretorio, il Monastero di San Francesco e il Palazzo Comunale. A Colle basso si trovano la Porta Guelfa, il Monastero di Sant'Agostino, la Chiesetta della Spugna.

Il Cristallo
Colle è il principale produttore di cristallo in Italia, ma la tradizione è abbastanza recente. Fu cominciata da una famiglia francese, i Mathis ad aprire la prima cristalleria a metà del '900. Adesso la maggior parte delle cristallerie sono industriali e chiuse al pubblico, ma la Vilca continua a eseguire i lavori artigianalmente.
Il giorno lavorativo comincia nel pomeriggio con il riempimento dei crogioli con le materie prime, che sono scaldate a 1000 gradi e tenuti in caldo per la notte.
La mattina alle 5 arrivano i maestri vetrai, e il turno di lavoro dura fino alle 13; due si occupano di vasellami vari (bottiglie, calici ecc.) mentre il terzo esegue pezzi decorativi. È una danza calda, rumorosa e affascinate. I pezzi finiti sono raffreddati lentamente, nell'arco di 5 ore onde evitare che si spacchino, e ricevono i tocchi finali durante la molatura.