Pod koniec XIV wieku panem zamku w Rożnowie był Andrzej Rożen, rycerz królewski. Jemu to przypadła w udziale zaszczytna misja. Gdy po śmierci Kazimierza Wielkiego królem Polskim został Ludwik Węgierski rządy jego, sprawowane zwykle z odległej Budy nie budziły wśród panów Polskich zachwytu. Aby ci nie obrali sobie podczas jego nieobecności nowego monarchy, matka jego, a siostra Kazimierza, Elżbieta uwiozła na Węgry insygnia koronacyjne. Nie oddano ich nawet udającej się do Polski Jadwidze. Dopiero Jagiełło wystarał się u następcy Ludwika, Zygmunta obietnicę zwrotu insygniów. Istotnie, król Zygmunt słowa dotrzymał, a przekazanie cennego depozytu powierzył właśnie Andrzejowi Rożenowi. A że tradycyjny szlak z Węgier wiódł doliną Dunajca, przy którym to szlaku stał rodowy zamek Rożena, można spodziewać się, że rycerz zatrzymał się po drodze w swoich włościach. Tak więc mury starego zamczyska w Rożnowie stały się na krótko schronieniem dla korony Chrobrego, włóczni św. Maurycego oraz innych insygniów. Zaś sam Rożen zyskał królewską łaskę i hojną nagrodę.

     W Rożnowie istnieją ruiny dwóch zamków. Pierwszy został wzniesiony na wzgórzu Łaziska przez ród Gryfitów w XIII wieku. Następni jego właściciele Rożenowie, dokonali rozbudowy zamku w XIV wieku. Przez jakiś czas stanowił własność sławnego rycerza Zawiszy Czarnego. Dzierżony był następnie przez rody Wydżgów i Tarnowskich. Opuszczony w połowie XVI wieku uległ ruinie. Z zamku zachowały się fragmenty murów.
     Drugi zamek, zwany twierdzą nad Dunajcem zaczął wznosić hetman Jan Tarnowski w pierwszej połowie XVI wieku. Miała to być pierwsza na ziemiach polskich nowożytna twierdza dostosowana do wymogów ówczesnego pola walki. Niestety, śmierć hetmana przerwała dzieło i opuszczony obiekt dotrwał do naszych czasów jako ruina. Zachowały się resztki murów, ludwisarnia, budynek bramny oraz beluarda.