Bygningen blev opført i 1681, hvilket kan ses i inskriptionen på bjælen over indgangsdøren. Rådmand Jens Nielsen Bittzholdt opførte huset. Han havde allerede i 1670 og 1672 købt de to grunde, som bygningen dækker over. Grundene blev lagt sammen, hvilket fremgår af en auktion fra 1698, hvor der står at den omfattere hele hjørnet mellem Lindegade og Skibbrogade.

Bygningen har tilhørt det bedre borgerskab i byen. I 1773 omdannede apoteker Bech den til kollegium. I 1816 blev den ombygget til skolebygning, hvor der i de nederste etager blev etableret skolestuer, mens der på overetagen og sidelængen var værelser og et kornmagasin. Fra 1816-1876 blev den anvendt af Borger – og friskolen, hvorefter der blev indrettet konditori af Herman Sophus Freckmann. I 1884 blev ejendommen inddelt i to særskilte huse, hvorved Lindegade 1 og Lindegade 3 opstod.

Bygningen var gammeldags allerede i 1681 når man ser på gadesidens knægte med fantasifuldt udskårne ansigter. At det dekorative har været væsentlig fremgår tydeligt, idet knægtene ingen konstruktiv betydning har for huset. Ejeren af Lindegade 1 har de senere år prøvet at føre huset tilbage til dets oprindelige udseende bl.a. ved at fjerne et udvendig trappehus på huset bagside. Det har givet baghuset den flotte bindingsværksfacade tilbage, som medfører at gården virker mere historisk korrekt.

Over døren i nr. 1 står der: Gud velsigne din indgang og bevare din udgang INBH 1681 (initialerne henviser til Jens Nielsen Bittzholdt).

På ældre fotografier ses det, at bygningen tidligere har stået kalket over stok og sten og kun bindingsværkets udsmykning har været bemalet.