Det er måske en sandhed med modifikationer at kalde det Hattemagerens hus, idet det ikke var mange år, der var hattebutik i huset. Butikken med hatte ejedes i 40erne af Dagny Hansen, og i den anden ende af bygningen var der gennem årene skiftende frisører. I mange år var der også kaffebar, derefter brød- og mælkeudsalg og den sidste butik i huset var en grillbar.
Huset er nok bygget omkring 1930 og før den tid lå der et lille rødt bindingsværkshus, hvor madam Rumenap havde slikbutik og brødudsalg. Hun var særlig kendt for sine store Bismarcksklumper.
Det kan nævnes, at man i 1800-tallet sagde ”madam” til de lidt pænere koner. Præstens og degnens koner benævntes ”fruer”. Det sagde man også til koner i de gårde, hvor der var 4 skorstene, bl.a. Torvegården. De almindelige koner i byen kaldte man blot ved fornavn.
Hvor Genforeningsstenen står i dag, var der indtil 1920 en rodeplads, hvor der lå alt muligt skrammel, sten, blikdåser og gamle kødben, som hundene rendte rundt med. Men i 1920 hentede man en stor sten helt ude fra Mols’ bakker (beliggende sydøst for Nimtofte ved Sønderskovvej). Den blev slæbt af heste hele vejen, og der blev indhugget tekst, og som mange andre byer fik Nimtofte sin Genforeningssten.
Det gule hus til venstre ligger, hvor der var Trælasthandel. Her var postkontor fra 1976 til 1986. Den gamle krostald var beliggende, hvor bankens bygning ligger i dag.
