Dawno, dawno temu, w miejscu gdzie dziś leży miasteczko Iłża rozciągały się nieprzebyte bory. Nieliczne jaśniejsze polany zamieszkiwał ludek pracowity - smolarze, węglarze i inni, którzy mozolnie wydzierali puszczy jej skarby. Pewnego razu zjawiła się w okolicy stara królowa i na jednym ze wzgórz rozkazała wybudować okazały zamek. Przez wiele lat wznosili majstrowie budowlę, a tysiące ludzi znosiło kamienie, piasek, drewno i inne materiały. Niestety, na górze nie było wody. Zaczęto ryć w skale studnię, ale daremnie. Kazała więc królowa studnie obmurować, a pod zamkiem wykuć lochy i piwnice. Nie wiedział nikt po co takie gmaszysko. Ludzie powiadali, że królowa, po śmierci małżonka, nie mogąc pogodzić się z przeprowadzonym wbrew jej woli małżeństwem młodego króla, w tym nowo postawionym zamku postanowiła zamieszkać, by spędzać czas na rozmyślaniach i modlitwie. Jakże się rozczarowali. Wkrótce zamkowe komnaty zapełniły się cudzoziemskimi gośćmi, gwarem uczt i zabaw.
     Pławiąca się w zbytkach królowa przemyśliwała jednak ciągle jak tu pozbyć się znienawidzonej synowej. I wreszcie, z pomocą chytrego czarownika, wymyśliła pewien plan. Napisała list do syna, że doskwiera jej samotność, że tęskni za dziećmi i dlatego prosi go by odwiedził ją wraz ze swoją żoną. Młody król miał dobre serce, a jego wybranka była wręcz aniołem, rychło zapomnieli więc o urazach i pospieszyli z wizytą. Ledwie stanęli na zamku zjawił się posłaniec wzywający pilnie króla na radę. Stara królowa ubłagała syna, by na pociechę choć synowa z nią została. Zgodził się król na to i sam do stolicy wyruszył. Tego tylko było starej królowej trzeba. Z pomocą czarownika przemieniła synową w kaczkę i zamknęła w suchej studni. Nieszczęśliwa kaczka sfrunęła na samo dno i zaczęła ronić łzy płacząc nad swym losem. Potok jej łez był tak obfity, że rozmył kamienną opokę, przedarł się przez nią i wpłynął u stóp zamkowej wieży w postaci strumienia. Płynąc z prądem zaklęta w kaczkę młoda królowa wydostała się na zewnątrz. Tu uniósł ją anioł i odmieniwszy na powrót w dziewczynę przywiódł wprost w ramiona młodego króla. W tym samym momencie stara, zła królowa zamieniła się w czarną kaczkę i uciekła za dziesiąte morze, a wraz z nią jej goście przemienieni w stada kruków i wron. Nad zamkiem zaś rozpętała się straszliwa burza. Gromy biły w mury raz po raz tak, że wkrótce zamek legł w gruzach i została po nim jedna tylko baszta.
     Strumyk, który do dziś u stóp zamkowej góry wypływa, na pamiątkę królowej, z której łez powstał nazwali ludzie "Jej łza", dopiero z czasem, kiedy pamięć tamtych dawnych wydarzeń zatarła się nieco, na Iłżę przerobili..

     Murowany zamek na wzniesieniu górującym nad miastem wzniósł około 1340 roku biskup krakowski Jan Grot dla ochrony położonych naokoło biskupich włości. Obiekt miał plan nieregularny i składał się z części górnej z masywną wieżą, budynkiem mieszkalnym i bramą oraz części dolnej - gospodarczej. Został rozbudowywany w końcu XIV wieku przez biskupa Floriana z Mokrska. Wtedy też sprzężono mury zamkowe z murami obronnymi miasta. Następnej rozbudowy dokonali w XVI wieku Jan Konarski i Filip Padniewski. Surowa, gotycka warownia zamieniła się wówczas we wspaniałą renesansową rezydencję, w której bywali możni ówczesnej Polski z koronowanymi głowami włącznie. W wieku XVII zamek został ufortyfikowany. Nie ustrzegło go to od zniszczenia przez Szwedów w 1656 roku. Dzieło odbudowany podjął biskup Andrzej Trzebnicki. Ostatniej odnowy budowli dokonał około 1782 roku biskup Kajetan Sołtyk. W początkach XIX wieku zamek spłonął i od tego czasu opuszczony uległ ruinie. Zachowała się wysoka, kamienna wieża oraz fragmenty murów.