Około 1740 roku pewna kobieta, wdowa, pozbawiona po śmierci męża środków do życia szukała protekcji u możnych ówczesnej Polski. Takich wdów było wówczas tysiące. Co więc dało naszej bohaterce odwagę by o taką pomoc prosić, i co skłaniało potężnych magnatów, dyktujących ton w ówczesnej Polsce aby wdową się zaopiekować? Co sprawiło, że pojawiła się ona w Rzemieniu i mogła pozostać tu przez kilka lat korzystając z gościnności gospodarzy? Otóż, wdową tą była Elżbieta Drużbacka, zwana w swoim czasie polską Safoną, o której Hugo Kołłoątaj pisał "Utrzymała honor poezji polskiej i dzieła jej w późne wieki należeć będą do dobrej literatury w mowie naszej". W słowach tych była odrobina przesady, Safona znana i podziwiana jest do dziś, natomiast o Elżbiecie Drużbackiej pamiętają nieliczni. Niemniej jednak jej twórczość poetycka była dobrze znana i ceniona w czasach saskich. Ona sama także nie była pozbawiona uroku osobistego. Potrafiła godnie znaleźć się w wielkopańskich salonach i być tam duszą towarzystwa. Dla tychże właśnie zalet liczni możni protektorzy przyjmowali Elżbietę pod swój dach, zapewniali godziwe utrzymanie oraz pomagali w propagowaniu poetyckiej twórczości. Życie tej bywałej w świecie poetki dokonało się jednak ... w klasztorze Bernardynek w 1765 roku. Po śmierci córki i wnucząt, mając już dość światowego życia, tam właśnie znalazła schronienie.

     Pierwsze wzmianki o otoczonej stawami i bagnami wieży obronno-mieszkalnej w Rzemieniu pojawiły się w połowie XV wieku. Wcześniej, tereny okoliczne należeć miały do Pełki i Niemierzy - nieślubnych synów Kazimierza Wielkiego, więc w osobie tego króla upatrują niektórzy inicjatora powstania warowni. Ceglana wieża o wymiarach 14x14 m posiadała pomieszczenia gospodarcze w przyziemiu, mieszkalne na pierwszym piętrze i reprezentacyjne na drugim.
     W XVI wieku Rzemień należał do rodziny Tarnowskich. W roku 1616 przeszedł w ręce Stanisława Lubomirskiego, który otoczył wieżę fortyfikacjami ziemnymi z bastionami, na których umieścił imponującą na owe czasy liczę 40 dział. Następnie, zamek przechodził z rąk do rąk. Dzierżyli go Sanguszkowie, Lasoccy, Stadniccy, Reyowie, Szaszkiewicze. Przynajmniej dwukrotnie był jeszcze odnawiany. W roku 1857 dokonał tego Feliks Bogusz, a w roku 1931 Gustaw Szaszkiewicz i jego syn Antoni. Wieżę podniesiono o jedną kondygnację a jej mury zostały zwieńczone attyką, do zachodniej elewacji dostawiono cylindryczną basztę oraz przybudówkę zwieńczoną loggią. W latach późniejszych zamek pozbawiony stałej opieki zaczął niszczeć.
     Obecnie, nowy, prywatny właściciel próbuje przywrócić obiektowi dawną świetność.