I 1810 blev Espe købt af geheimestatsminister Otto Jorchim grev Moltke, søn af Frederik den 5.’s hofmarskal, Adam Gottlob greve Moltke til Bregentved. Siden da har Espe været i Moltkefamiliens eje, siden 1958 dog familien Moltke – Huitfeldt. Hovedbygningen menes opført i 1700-tallet, dog er midterfløjen ombygget i 1848. Avlsbygningerne mod den store gårdsplads er genopført efter en brand i 1822. I 1860’erne blev indkørslen gennem ladegårdens sydfløj lukket. I perioden 1848 – 1871 besøgte H.C. Andersen godset 5 gange.
