Przed wieloma wiekami wzniesiono w Wytrzyszczce kamienną stróżę. Miała ona strzec lądowego i wodnego szlaku, który wiódł doliną Dunajca z Polski na Węgry i jeszcze dalej na południe. Niestety, burgrabiowie z zamku nie zawsze należycie wypełniali swoje obowiązki, a bywało, że sami zaczynali uprawiać zbójecki proceder, czując się bezkarnie za murami zamczyska. Wreszcie przebrała się miarka. Władający z pobliskiego Rożnowa właściciele okolicy zdobyli i zniszczyli zamek. Ludność miejscowa i kupcy odetchnęli. Nie na długo jednak. W ruinach wieży znaleźli schronienie pospolici rabusie, którzy znów zaczęli gnębić okolicę. Warownia, choć zrujnowana dawała rabusiom dostateczną ochronę przed miejscowymi. Cóż było robić? Do kogo zwrócić się o pomoc? Zdesperowani kupcy sami obmyślili sposób pozbycia się uciążliwego sąsiedztwa. Poświęcili jedną barkę, załadowali ją beczkami z zatrutym winem, a następnie puścili z nurtem rzeki w kierunku zamku. Zbójcy nie przepuścili takiej okazji. Wsiedli do łodzi i złupili barkę. Niedługo potem, uraczywszy się zdobytym winem umarli w straszliwych męczarniach. Takim to sposobem przemyślni mieszkańcy oczyścili okolicę ze zbójów.

     Zamek Tropsztyn wzniesiony został przez ród Gierałtów-Ośmiorogów dla ochrony tzw. Bramy Sądeckiej, przez którą wiódł wodny i lądowy szlak w kierunku Węgier. Drewniane zabudowania mogły powstać już w XIII wieku, jednakże pierwsze wzmianki o murowanym zamku pochodzą z 1382 roku. Istniały tu wówczas wysokie mury na planie czworoboku. Zabudowa wewnątrz murów pozostawała jeszcze drewniana. Dopiero następni właściciele, Chebdowie, wznieśli pierwsze murowane budynki, a zwłaszcza wysoką, masywną wieżę w północno-zachodnim narożniku zamku. W latch późniejszych dzierżyli zamek w swoich rękach Kmitowie. Po nich zaś Robakowscy i Gabońscy. W owym czasie zmieniono wjazd do zamku oraz wybudowano rezydencję mieszkalną wzdłuż północnych murów.
     Aby ukrócić zbójeckie zapędy urzędujących tu burgrabiów zamek został zdobyty i zniszczony w 1574 roku. Od tamtego czasu pozostawał w ruinie. Obecnie jest odbudowywany.