I middelalderen (ca. år 1100 til 1536) bestod Kalundborg af 2 bydele, Den befæstede Højby og bebyggelsen udenfor murene, Kordel.
Bydelen Kordel, havde sandsynligvis en fortid som mindre fiskerlandsby i vikingetiden og tidligere tider.

Udenfor den velbevarede Højby, ligger der også en del fredede huse og spændende gader, men som de fleste andre byer i Danmark, har det meste af Kalundborg også undergået store forandringer.
Særligt efter 2. verdenskrig og i særdeleshed op i gennem 60- og 70’erne blev de gamle bygninger revet ned for at gøre plads for moderne beton-, stål- og glasbygninger.
Mange af de nedrevne bygninger var i så dårlig tilstand, at det var svært at se værdien i at renovere dem, men ikke desto mindre, ville en renovering ha givet et helt andet bybillede i dag.