Dominantou Žipova a jeho okolia je kaštieľ, ktorý stojí na vyvýšenine v strede obce. Klasicistický dvojtraktový kaštieľ postavili koncom 18. storočia na staršom renesančnom základe. Exteriér tvorí jednoposchodová bloková budova obdĺžnikového pôdorysu.

V strede priečelia je objekt členený hlbokým prevýšeným rizalitom – výstupkom z priečelia – a tympanónom. Pôvodne bol nad vstupovým kamenným portálom balkón, ktorý niesli kanelované stĺpy, ktoré však boli 60- tych rokoch 20. storočia odstránené. V miestnostiach na prízemí, ktoré v minulosti slúžili na ubytovanie služobníctva, ale aj ako kuchyňa a sklady, možno nájsť krížové klenby, priestory na poschodí majú valené a lunetové klenby.

Kaštieľ opravili ho v roku 1985, ale kvôli viacerým necitlivým zásahom počas jeho používania v minulom storočí jeho vzhľad utrpel. Vzhľadom na blízkosť Prešova a umiestnenie v peknej prírodnej lokalite vytvára, po nevyhnutnej rekonštrukcii, pre kaštieľ široké možnosti využitia. Do komplexu by tak bolo možné zakomponovať aj existujúcu klasicistickú kúriu, ktorá je situovaná pri juhozápadnom krídle kaštieľa.