W XIII wieku Panem zamku w Rytrze był Piotr Wydżga herbu Janina. Starostwo w Rytrze i kilku innych zamkach nie zaspokajało jego ambicji. Uważał, że zasługuje na najwyższe urzędy w kraju i król czyni mu krzywdę pomijając go przy kolejnych nominacjach. Swoje niepowodzenia postanowił powetować sobie szukając w ryterskich górach złota, które otworzyłoby mu drogę do upragnionych urzędów.
         Lata całe strawił na włóczeniu się po górach. Stał się nieufnym odludkiem, stroniącym od ludzi, a i ci nie szukali jego towarzystwa. W końcu szczęście się doń uśmiechnęło. Znalazł żyłę złota. Ale swoim nie ufał. Gdy dowiedzą się o złocie przybędą setki poszukiwaczy i pozbawią go skarbu. Postanowił poszukać górników na Śląsku, wśród Niemców. Jak postanowił, tak zrobił, ale gdy wydobyto już wszystko, powstał problem, co dalej z tym złotem. Swoi zaczną wypytywać skąd ono pochodzi, a tego pan Piotr za nic nie chciał zdradzić. Król zaś może powiedzieć, że urzędy zdobywa się mężnymi czynami a nie pieniędzmi. Co robić? Przełożony niemieckich kopaczy poradził, by ze złotem udał się do Krzyżaków, gdyż oni potrafią docenić wartość kruszcu i nie będą nazbyt dociekliwi. Ale co z górnikami? Wśród Krzyżaków będą jak między swoimi. Czy nie zdradzą? I tak obmyśla pan Piotr zbrodnię.
         Gdy złoto załadowano już na tratwy zabił nieszczęsnych najemników. Potem zgodził polskich flisaków i mówił im, że płyną do Malborka zawieźć żelazo. Na miejscu komtur przyjął go godnie, obiecał zaszczyty, udzielne księstwo, a wszystko to, póki złoto nie znalazło się w podziemnych skarbcach potężnego zamczyska. A potem Krzyżacy odpędzali od bram wariata, który przywiózł żelazo, o czym świadczą jego właśni ludzie, dostał godziwą za nie zapłatę, a roi coś o skarbach, coś o złocie.
         Upokorzony szlachcic postanowił powrócić do swoich skarbów, ale wstyd i poczucie winy, że oto dał Krzyżakom złoto, które oni przeciwko Polsce obrócą, wpędziły go w chorobę. I zmarł zapomniany, gdzieś w jakiejś ubogiej wieśniaczej chatce, a jego złoto nadal tkwi ukryte głęboko w górach i czeka, aż odnajdzie je ktoś o czystych rękach i zacnych intencjach.

     Murowany zamek w Rytrze wzniesiono, najprawdopodobniej na miejscu drewnianej stróży, na przełomie XIII i XIV wieku. Pierwotnie był zapewne własnością rycerską, choć próbuje się wiązać jego powstanie z osobą czeskiego księcia Wacława. Pewien jest fakt, że z początkiem XIV wieku stanowił już własność królów polskich, którzy przeznaczyli warownię do ochrony granic, szlaku wiodącego doliną Popradu na Węgry oraz punktu poboru ceł.
     Zamek zbudowany na planie nieregularnym składał się z wysokiej, kamiennej wieży oraz budynku mieszkalnego. Całość otaczał mur obwodowy.
     W 1418 starostą ryterskim zostaje Piotr z Buszkowa herbu Topór, w późniejszym czasie na zamku urzędowali starostowie sądeccy.
     Zamek został zniszczony w 1657 roku podczas najazdu Rakoczego, choć przekazy świadczą, że wcześniej nie znajdował się w najlepszym stanie. Od tamtego czasu opuszczony zachował się do naszych czasów jako ruina wieńcząca wysokie wzgórze nad rzeczną doliną.