Niegdyś władał w Dankowie Stanisław Warszycki. Potężny magnat dzierżący najpierwsze urzędy w Rzeczpospolitej i właściciel olbrzymiej fortuny. Niestety, sercem jego targały namiętności równie wielkie jak fortuna. Zasłynął więc jako okrutnik i zazdrośnik. Był postrachem dla swoich poddanych, których gnębił niemiłosiernie i najmniejsze objawy niezadowolenia bezwzględnie tłumił. Gdy pewnego razu dowiedział się, że do jego pięknej żony przybył jakiś młody człowiek uwierzył plotce, że to jej kochanek. Oszalały z zazdrości, w straszliwym gniewie udał się do budynku, w którym nieświadoma niczego para miała spotkanie, podłożył ładunek prochowy i wysadził wszystko w powietrze grzebiąc nieszczęsnych pod gruzami własnego zamku. Do dziś można w okolicy Dankowa usłyszeć tętent konia i zobaczyć jeźdźca bez głowy, ubranego po pańsku dosiadającego dorodnego rumaka, którego kopyta nie pozostawiają żadnych śladów. Powiadają, że to właśnie kasztelan Warszycki nawet po śmierci zazdrośnie strzeże swoich włości.

     Pierwsze budowle obronne na prawym brzegu rzeki Liswarty powstały zapewne ok. XV wieku. Jednakże potężną bastionową fortecę wzniósł tu późniejszy kasztelan krakowski Stanisław Warszycki w pierwszej połowie XVII wieku. Mury miały kształt wydłużonego czworoboku z bastionami w narożach. Na jednym z krótszych boków znajduje się dwukondygnacyjna brama wjazdowa. Na dłuższym boku, od strony największego zagrożenia, znajduje się jeden potężny bastion. Twierdza uchodziła za tak potężną, że w czasie potopu wojska szwedzkie nawet nie próbowały jej atakować.
     Mury obronne zachowały się w znacznej mierze do naszych czasów, jednakże niewiele wiadomo na temat zabudowań znajdujących się wewnątrz murów. Dziś znajduje się tam kościół oraz ruiny budynku mieszkalnego.