Początkowo był tu Szpital Świętego Ducha pełniący jednocześnie rolę przytułku. Z tym okresem związana jest pierwsza anegdota. W przytułku znajdowały swe miejsce także miejskie prostytutki, które, ze względu na wiek lub choroby, utraciły możliwości zarobkowania. Zachowała się XIX wieczna skarga Przeora klasztoru do władz miasta, w której pisze, iż: „ w znajdującym się naprzeciw Klasztoru szpitalu kobiety lekkich obyczajów siadają w oknach i robią nieprzystojne gesty wobec zamieszkujących klasztor braciszków”.

Po szpitalu budynek zajmował sąd. Tu znamy anegdotę o konińskim mecenasie Anteckim, który był także zapalonym druhem Ochotniczej Straży Pożarnej. Raz, gdy właśnie uczestniczył w odbywającej się na parterze rozprawie, zawyła syrena alarmowa. Mecenas, nie wiele myśląc, zrzucił togę, wyskoczył przez okno i wskoczywszy na stojący przy ulicy rower pognał do Straży. A za nim, w pościgu, tłumek przechodniów , przekonany, że rower porwał złodziej.

Potem w budynku była szkoła hutnicza. No ale było to tak niedawno, że macie Państwo własne wspomnienia i anegdoty.