Miej­sco­wa le­gen­da gło­si, że pod­czas u­czty wy­pra­wio­nej na cześć kró­lew­skie­go goś­cia przy­pad­ko­wo zas­trze­lo­na zo­sta­ła cór­ka właś­ci­cie­la zam­ku i od te­go cza­su duch jej błą­ka się po o­ko­licz­nych knie­jach, swo­im za­wo­dze­niem stra­sząc mieszkańców wioski. W XVII wie­ku Wy­szy­na prze­szła w rę­ce A­da­ma Gro­dziec­kie­go, ka­szte­la­na mię­dzy­rzec­kie­go, po­sła, se­na­to­ra, pu­bli­cys­ty i kró­lew­skie­go dwo­rza­ni­na. Po je­go śmier­ci re­zy­den­cja zo­sta­ła włas­noś­cią ro­du Gu­row­skich her­bu Wcze­le, któ­rzy miesz­ka­li tam do ro­ku 1781. Na prze­ło­mie XVII i XVIII wie­ku pa­nem na zam­ku był Mel­chior Gu­row­ski, kasz­te­lan poz­nań­ski. Dzie­łem ko­lej­ne­go po­ko­le­nia Gu­row­skich by­ła prze­bu­do­wa ca­łe­go za­ło­że­nia i zmia­na wys­tro­ju je­go wnętrz. Kres świet­noś­ci pa­ła­cu przy­nios­ły la­ta kon­fe­de­ra­cji bar­skiej, kie­dy tą je­go część, w któ­rej mieś­ci­ła się zbro­jow­nia, wy­sa­dzi­li w po­wiet­rze żoł­nie­rze car­scy.

s­tat­nim pa­nem na zam­ku był kasz­te­lan poz­nań­ski Ra­fał Gu­row­ski. Je­go syn - Wła­dys­ław - za u­dział w in­su­rek­cji koś­ciusz­kow­skiej zos­tał u­wię­zio­ny przez Ro­sjan i poz­ba­wio­ny wszel­kich praw do dóbr wy­szyń­skich. Nie za­miesz­ka­na od ro­ku 1781 re­zy­den­cja stop­nio­wo po­pa­da­ła w ru­i­nę, nisz­czo­na za­rów­no przez lu­dzi, jak i u­pły­wa­ją­cy czas. W os­tat­nich la­tach XVIII wie­ku miej­sco­wy e­ko­nom ...dru­gi bok czwo­ro­bo­ku zam­ko­we­go po­wa­lił, wie­le mar­mu­rów i na­pi­sów znisz­czył, a od­wiecz­ne gła­zy po­sza­no­wa­nia god­ne, na gos­po­dar­skie u­żył ce­le. W XIX wie­ku zruj­no­wa­ny o­biekt o­pi­sał w swo­ich Wspom­nie­niach Wiel­ko­pol­ski Ed­ward Ra­czyń­ski, właś­ci­ciel pa­ła­cu w Ro­ga­li­nie. Czy­ta­my w nich, że ...Po­waż­na to ru­i­na, za­cho­wu­je do­tąd kil­ka po­zo­sta­łych baszt i to zda­je się har­do wy­zy­wać rę­ką znisz­cze­nia, po­dob­na w tym mo­że do na­ro­du, co wspom­nie­nia­mi przesz­łoś­ci o­bec­nie po­kry­wa nie­szczęś­cia i od za­gła­dy się bro­ni.... Roz­biór­ka ca­łe­go za­ło­że­nia na­stą­pi­ła pod ko­niec XIX wie­ku, a jej bez­poś­red­nią przy­czy­ną by­ła chęć po­zys­ka­nia ma­te­ria­łu bu­dow­la­ne­go na roz­ras­ta­ją­ce się na te­re­nie po­blis­kie­go fol­war­ku pry­wat­ne gos­po­dar­stwo.