Der har eksisteret en vandmølle på stedet siden 1600-tallet, måske endnu længere. Møllen havde gæstestald og gæstekammer, så de tilkørende bønder kunne overnatte.
Mange ansete slægter har ejet den herskabelige ejendom. Et af de første navne er Jens Nørager, derefter Baadsted, Tranberg og Knud Knudsen. Denne havde været kaperkaptajn i krigen 1807-10 og for prisepenge købte han møllen i 1823. I 1852 overtog H. C. Delholm stedet og han blev én af sognets mest betydende personer. Han var cand. polyt og kom fra Middelfart. Det fortælles at det første juletræ i Nimtofte tændtes på Møllegården i 1860.
Møllen brændte første gang i 1889 og det meste brændte, da sprøjten fra Tøstrup kom for sent frem og i øvrigt ikke kunne udrette meget. Delholm byggede det hele op igen. Igen i 1909 var der ild i møllen, men denne gang blev gården reddet. Da ejedes møllen af L. C. Delholm, en søn af ovennævnte.
Kort efter blev møllen og gården solgt hver for sig. Gården blev købt af J. P. Kahr og møllen solgtes til et aktieselskab af beboere i Nimtofte og omegn, der drev den videre som mølle. Der var nu kommet turbine som trækkraft. Fra 1909 til 1945 var A. Hvid møllebestyrer og derefter møller Mortensen.
I en tilbygning til det statelige stuehus er der en tilmuret hvid dør. Efter sigende skulle der komme en hvid dame ud af døren hver nat kl. 12.
Til møllen hørte dengang en smedie og i mange år hed smeden Larsen. Der var også et stort bageri som i mange år lededes af P. Rafn. Det var rugbrød, der var den store artikel, og i mange år kørte tungt læssede brødvogne rundt til egnens byer i vid omkreds.
1962 blev møllen til et Andelsselskab ”Nimtofte Andelsmølle”. Da ansattes en driftig ung mand, Knud Kejser Sørensen som leder. Tiderne forandredes dog og i 1973 gik man sammen med Kolind Fælleslager og Knud Kejser fortsatte som leder.
1988 blev der en ny fusion med andre andelsmøller på Djursland og hovedkontoret blev i Nimtofte. Knud Kejser blev udpeget til direktør ved sammenlægningen. Den titel benyttede han dog aldrig. Han var og blev ”mølleren”. Direktører var der nok af, sagde han, men kun én ”møller” på Djursland. Knud fejrede sit 25 års jubilæum i 1987, 50 år gammel. Desværre blev han syg og døde i december 1989. Han deltog også i politik. Ved sin død var han viceborgmester i den daværende Midtdjurs kommune.
Men der kom igen problemer for samarbejdet. I 1994 dannedes en ny fusion med Østjysk Andel, og der var nu kun forsælgning af grovvarer i Nimtofte.
Af lokale formænd i tiden indtil 1989 kan nævnes: Albert Jensen, Krogården, Niels Busk, Battrupholt og Aage Rasmussen, Østenfjeld.
I dag er de fleste bygninger tomme. Møllegården ejes af Viggo Kahr.
