Dawno, dawno temu, gdy niemal całą polską ziemie porastały nieprzebyte bory i tylko gdzie niegdzie, nieśmiało, na polanach wydartych puszczy, pojawiały się osady i grody, na skraju Gór Świętokrzyskich znalazł sobie kryjówkę pewien zbój, którego Szydłą zwano. Ze względu na odległości i ogrom niebezpieczeństw podróżowano wówczas niewiele, ale przecież już to jakiś kupiec z towarem, już to jakiś zakonnik z misją, czy chociażby książęcy urzędnik szukali drogi przez lasy, wądoły i mokradła. Takich to podróżnych podchodził zbój i grabił nie mając litości dla nędzy włóczęgi ani szacunku dla księżej sukienki. Zaś zrabowane w ten sposób skarby składał w sekretnej kryjówce pod kamieniem.
         Mijały lata a opowieści o zbóju z gór docierały do coraz odleglejszych zakątków kraju. Rosła sława Szydły. Na koniec, niesamowite opowieści o okropnym grabieżcy dotarły do uszu samego księcia. Ten, chcąc okazać troskę o spokojność podróżnych wyruszył wraz ze swymi wojami, wytropił, pojmał i zgładził niecnego zbója. W miejscu zaś zbójeckiej kryjówki kazał wybudować osadę, którą od miana zbója Szydłowem nazwano. Wiele lat później Szydłów przyszedł do takiego znaczenia, że został miastem, a król Kazimierz kazał opasać go murem wysokim i wymurował zamek dla jego obrony. Wielki skarb Szydły natomiast nie został nigdy odnaleziony i wciąż czeka na swego odkrywcę.

     Zamek na wzniesieniu opadającym do rzeki Ciekącej wzniósł król Kazimierz Wielki w XIV wieku. Składał się on z dużego prostokątnego, kamiennego budynku ustawionego prostopadle do murów, piętrowego, posiadającego po dwa pomieszczenia na kondygnacji oraz wzniesionej w kulminacji wzgórza, po przeciwnej stronie zamkowego dziedzińca cylindrycznej wieży, która została później rozebrana i zastąpiona istniejącym do dziś budynkiem zwanym "skarbczykiem". Kilkukrotna przebudowa zamku związana była z pożarami jakie dotknęły budowlę, a także ze zniszczeniami dokonanymi podczas najazdu wojsk szwedzkich. Opuszczony w XVIII wieku stopniowo popadał w ruinę. W latach międzywojennych oraz tuż po II wojnie zabezpieczono pozostałości zamku oraz dokonano częściowej rekonstrukcji murów .
     Zamek sprzężony był z murami obronnymi samego miasta, które częściowo zachowały się do dzisiaj. Najciekawszym ich elementem jest dobrze zachowana jedna z dwóch bram prowadzących niegdyś do miasta zwana "krakowską".