Ešte donedávna bol dominantou obce Považské Podhradie veľký, štvorkrídlový rokokový kaštieľ, postavený v roku 1775. Súčasne s kaštieľom v objekte postavili aj kaplnku. Objekt bol ešte po 2. svetovej vojne obývaný a neskôr v päťdesiatych a šesťdesiatych rokoch ho využívali ako sklad potravín. Neskôr, už v správe štátu, ho i čiastočne opravili. Po roku 1990 ho mesto Považská Bystrica predalo do vlastníctva súkromnej osoby, ktorá zároveň požiadala Poštovú banku Bratislava o úver na jeho rekonštrukciu. Keďže opravu v stanovenej lehote nezačali, Poštová banka si na objekt uplatnila záložné právo. Zároveň prednostne ponúkla kúpne právo mestu Považská Bystrica, ktoré ho však odmietlo. Podľa vyjadrenia zástupcov banky sa už viac ako rok snažia kaštieľ predať, avšak zo záujemcov sa doposiaľ nenašiel ani jeden, ktorý by akceptoval jej finančné požiadavky. Niekoľko metrov od objektu sa nachádza aj ďalší, o viac ako poldruha storočia starší renesančný kaštieľ, nazývaný Burg. Po zničení Považského hradu koncom 17. storočia slúžil ako poľovnícky letohrádok. Počas 2. svetovej vojny bol ťažko poškodený a v rokoch 1955-56 ho opravili a prestavali jeho prvé poschodie. V súčasnosti sú tam sklady Civilnej ochrany Považská Bystrica.
JOŽO POLIAK