Bygningen er fra 1400 tallet og et af de ældste stenhuse i Danmark. Huset er blevet renoveret i 1700-tallet og igen i 1900-tallet og er igennem tiden blevet ændret en del.

Stenhuse er til forskel fra bindingsværks huse, bygget helt i munkesten.

Stenhuset er givetvis opført af Vor Frue Kirke i København, der er ejer i 1454. Husets indre opbygning er også blevet meget forandret fx i stueetagen. Stueetagen har givetvis været et stort rum med ildsted og køkkenet i en lude (lav tilbygning) på bagsiden. Stuen har formentlig været benyttet som spisesal med stort opdækket bord med pompøse mad anretninger og kander med vin og øl.

Huset er som sine nabohuse bygget til beboelse og disse beboere var tilknyttet kirken, de bedre stillede håndværkere eller andre velstillede erhvervsgrupper. Huset kan også være anvendt som midlertidigt ophold i forbindelse med rådsamlinger, rejser mellem landsdele eller det kan være bygget med udlejning for øje.

Vævermester Andres Schøder ejede både Adelgade nr. 13 og nr. 15 i 1809, hvilket også tyder på en vis velstand fra hans side. Senere har både Nationalmuseet og Kalundborg kommune ejet huset, men i dag er der igen en privat ejer.

I 1978 – 79 fjernes et større skur på gårdsiden. Bygningen får nyt tag med kviste, samt en svalegang mod gården. Alle døre og vinduer skiftes.