Bispegården var den katolske Roskildebiskops ejendom og nævnes først gang i 1401, men er formentlig ældre.
Peder Jensen (Lodehat) købte fire ejendomme eller gårde i Adelgade i Kalundborg. Gårdene har sandsynligvis omfattet det der i dag er Adelgade 4, 6 og 8
Den ældste del af den nuværende Bispegård, den gule salsbygning, var med sikkerhed opført før år 1408 og Peder Lodehat døde i 1416.

Peder Lodehat og de efterfølgende biskopper i Roskilde, var indtil reformationen, nogle af Sjællands største jordbesiddere.
Biskoben opholdt sig her, når han besøgte Kalundborg for at ordne sine forretninger og klare sine gejstlige forpligtelser. Efter reformationen blev Bispegården i 1538 udstykket og solgt i fire dele.
Kalundborg har aldrig været bispesæde og Vor Frue kirke har derfor ikke været domkirke, men Roskilde-bispen rejste rundt på sjælland og havde sine egne ejendomme som i Kalundborg.
Absalon (Esbern Snares bror) var biskob i Roskilde fra 1158 til 1191
Joachim Rønnow var den sidste katolske biskop i Roskilde Stift fra 1529-1536.
Ved reformationen i 1536 blev det katolske bispegods i Danmark overtaget af staten, og han blev fængslet sammen med de øvrige bisper, men hans løsladelse trak længst ud, og han døde i fængslet på Københavns slot 1. maj 1542.
Salsbygningen (den røde bygning, nr. 8) blev af kongen overdraget til byen, som indrettede den til rådhus i 1539. Helt frem til 1854 fungerede bygningen som byens rådhus, indtil man tog det “gule” rådhus på Torvet i brug (tidl. skatteforvaltning). I kælderen under rådhuset var der fængsel. Ganske flugtsikkert – historien fortæller hvordan mad og drikke til arrestanterne blev sænket ned i kælderen gennem en lem i gulvet til de “hårde” arrestanter, der sad i hundehullet.

Gennem årene blev Bispegården atter samlet hos en ejer. Og siden 1917 har hele Bispegården været ejet af Kalundborg Kommune, der har brugt bygningen til forskellige formål – bl.a. kommunekontor og beboelse.

I dag rummer Bispegården byrådssal i den vestlige ende med mødesal i kælderen. Kalundborg Kunstforening har til huse i den østlige ende. Kunstforeningen begyndte beskedent i 1952 som et kunstudvalg i den lokale biblioteksforening, der havde til huse på Ole Lunds Gård.
I 1965 overtog kommunen biblioteket og byggede en ny bygning overfor Kaalundkloster. Biblioteksforeningen blev nedlagt, og “Kalundborg og omegns Kunstforening” blev dannet og fortsatte som selvstændig forening, der arrangerede udstillinger forskellige steder i byen.
Da Kalundborg Kommune i 1981 etablerede Bispegården som fast udstillingssted, blev kunstforeningen repræsenteret i det kommunale udstillingsudvalg og forestod hvert år, 2 selvstændige udstillinger.
Siden 2002 har Bispegården været hjemsted for Kalundborg Kunstforening der efter aftale med Kalundborg Kommune står for driften og udstillingerne.
Østlige baghus er opført 1783.
Området omkring Bispegården er af stor kulturhistorisk interesse. Bispegården, Adelgade 6, er en af Kalundborgs ældst bevarede verdslige bygning. Komplekset har formentlig også omfattet store dele af det nuværende Adelgade 4, idet en skillevæg i kælderen under Adelgade 6 synes at være sekundær. Bygningerne synes derfor at være bygget som sammenhørende.
Første gang de skriftlige kilder beretter om grunden, er da Roskildebispen Peder Jensen Lodehat, i perioden 1386-1408 (Margrethe 1´s ven og rådgiver), købte fire ejendomme eller gårde i Kalundborg. Om den ældste del af Bispegården var opført, da grunden blev erhvervet vides ikke, men den ældste del af Bispegården var med sikkerhed opført før 1408. I perioden 1460-80 blev salshuset, Adelgade 8 – det senere rådhus, opført på hjørnet af Adelgade og Rådstuestrædet. Da salshuset blev opført, stod der allerede et hus på grunden umiddelbart nord for. Denne bygnings sydgavl blev inkorporeret i den nuværende rådstue og ses derfor endnu den dag i dag, i det gamle rådhus’ nordgavl. Huset har været et gavlhus til Munkesøgade.

Peder Jensen Lodehats skøde nævner som ovenfor beskrevet, at han købte fire gårde, og af de tidligere ejere af grundene kendes Jens og Arrild Matzenn, Jens Dannemand og Giesken Herderszen. Vi ved derfor også, at grunden allerede var bebygget i 1300-tallet. De ældste dele af den nuværende Bispegård er den østlige del, der bestod af to stuer/rum omkring en fælles gang over en høj kælder. På bagsiden af bygningen var der tilbygget små luder eller udskud, der fungerede som køkken. Det er antageligt huse af samme karakter, der er fundet rester af i Bispegårdens have.

Bispegården som den formodes at have set ud omkring år 1500. Den østligste del er den ældste med de to stuer eller boder på hver side af den gennemgående gang. I vest ses salsbygningen, det gamle rådhus, og på dennes nordside er et gavlhus markeret.
Links: