A kastély telkét Lázár Lukács örmény jószágkereskedő, kincstári bérlő vásárolta meg 1781-ben. A kastélyt a nemesi rangot kapott Lázár János, majd Lázár Ágoston építtette. A 19. század második felében Lázár Zsigmond tábornok alatt a birtok szőlő- és komlótermesztő központtá vált; az écskai sör kelendő lett a környező vármegyékben.
Lázár Zsigmond özvegye, Viktorina 1871-ben férjhez ment Thurn-Taxis Egon Miksa belga herceghez, aki átvette az uradalom igazgatását. Mint nagy lóimádó, Thurn-Taxis herceg létrehozta a híres écskai ménest, megalapította a vármegye fajtiszta lovait tenyésztő egyletet és gyakran tartott vadászati összejöveteleket.
A birtok 1888-ban Lázár Zsigmond lánya, Marianna és férje, a luxemburgi nemesi családból való Harnoncourt Félix gróf birtoka lett. A Harnoncourt család az écskai uradalom vezetését és családi életét is bécsi modorban szervezte meg, külön hangsúlyt fektettek a főúri szórakozásokra: a hangversenyekre, az álarcosbálokra. Gyakori vendég volt itt Ferenc Ferdinánd trónörökös és I. Sándor szerb kormányzó.
