Z początkiem XIV wieku Smoleń wraz z przyległościami należał do wielmoży małopolskiego Ottona z Pilczy herbu Topór. Miał on córkę, Elżbietę. Rodzice zamierzali zapewnić swej latorośli przyszłość godną spadkobierczyni wielkiej fortuny Toporczyków i szukali kandydata na męża wśród najznamienitszych polskich rodów. Dziewczyna, obdarzona niezwykłym temperamentem, z którym w zawody mogła iść jedynie jej wspaniała uroda, postanowiła męża znaleźć sobie sama. Na nic straże, grube mury zamków, budzące szacunek mino, Elżbieta została uprowadzona przez morawskiego rycerza Wisława, który jednak rychło postradał swoją brankę ulegając innemu morawianinowi Jańczykowi Hoszyńskiemu. Ten także długo nie cieszył się zdobyczą, gdyż rychło zmarł. Odzyskaną dzięki temu córkę rodzina wydała przemocą za Wincentego z Granowa, kasztelana nakielskiego. Znacznie starszy od żony kasztelan, a jakże, wkrótce zmarł i Elżbieta, po raz kolejny, została wdową. Wydawało się, że nic szczególnego się już w jej życiu nie wydarzy. Suto zaopatrzona przez majętną rodzinę, nareszcie stateczna, matka gromadki dzieci, w spokoju miała dożywać swoich dni. Stało się jednak inaczej. Panią już po czterdziestce, ale widać jeszcze dość urodziwą zainteresował się niejaki Władysław, wdowiec. I to tak bardzo, że rychło postanowił się z nią ożenić. Zapyta ktoś, a cóż w tym dziwnego? Ano nic, tylko ... ów Władysław nazywał się Jagiełło i był królem Polski.

     Zamek w Smoleniu został wzniesiony w połowie XIV wieku, najprawdopodobniej przez Ottona z Pilczy herbu Topór. Budowla ta zastąpiła istniejącą wcześniej w tym miejscu strażnicę. Początkowo był to mały wieloboczny, kamienny obiekt zwężający się przy wysokiej, cylindrycznej wieży. W latach późniejszych, u stóp skały dobudowano dwa zamki dolne. Otoczone były grubymi murami z bramą wjazdową, która zachowała się do dziś. Na dziedzińcu zamkowym znajduje się studnia. Tradycja głosi, iż studnię tę wykuli tatarscy jeńcy, a jej głębokość mogła sięgać nawet 200 metrów.
     W XVI wieku zamek nabył Seweryn Boner, który przekształcił go w renesansową rezydencję. Później, warownia przeszła w ręce Padniewskich. Jednakże, pomimo modernizacji, rychło przestała wystarczać rosnącym w potęgę i bogactwa właścicielom. Ograniczona powierzchnia wzgórza utrudniająca dalszą rozbudowę, a także kiepskie połączenia komunikacyjne sprawiły, że Padniewscy postanowili przenieść się do Pilicy, gdzie było dość miejsca na wybudowanie nowej, okazalszej siedziby. Zamek w Smoleniu pozostawiony sam sobie zaczął niszczeć. Smutny los warowni przypieczętowali Szwedzi dewastując go w 1655 roku.
     Dziś ruiny są zabezpieczone i dostępne dla zwiedzających.