A kastélydombon álló gróf Zichy- kastélyt 1722-ben kezdte építtetni a Várpalotán élő egyik Zichy család. A város uralkodó pontján álló épület 1860-ban leégett, melyet akkor a művészetpártoló földesúr, Waldstein János birtokolt, aki a kastélyt újjáépíttette.
Waldstein János Széchenyi István legközelebbi baráti körébe tartozott, felesége Zichy Terézia révén került a birtokába. A kastély újjáépítésének terveit Ybl Miklóssal készíttette.

A földszinti szépen felújított hall eredetileg kápolna volt, majd a világháborúk ideje alatt garázsnak használták. Az emeleti könyvtár gyönyörű fa polcai és különleges fa burkolatai máig láthatók, könyvei 1913-ban megsemmisültek. 
A könyvtárterem mennyezetén látható mitológiai korokat idéző freskóival ma is kulturális rendezvények rendszeres otthona. Az épület homlokzati attikái között a Waldstein &ndash Zichy címer látható, a felirat szerint 1876-ban készült.