Huset som familien boede i, da Caroline blev født i 1822, havde matrikel nr 425 og ligger der endnu. I flg. Indenforvoldende.dk blev Klerkegade 31 opført 1751 i to etager af murermester Hans Johansen Uttenthal (1726-1770). Mellem 1770 og 1792 påbyggedes husets tredie etage.