Wcześniej przez tą posesję biegła ulica, którą w 1882 roku przesunięto o kilka metrów w kierunku południowym. Poza ulicą na tej posesji znajdował się stary drewniany dom parterowy kryty dachówką, w którym mieszkała służba kościelna oraz stajnia i wozownia.
Wracając do domu Konrada Olszewskiego to został on zbudowany w pewnej odległości od ul. Działdowskiej tworząc przed nim placyk. Zaraz po wybudowaniu domu Aleksander Morawski otworzył w nim sklep, który mieścił się w narożnym lokalu. W sklepie można było kupić różne towary zaczynając od wina, herbaty, cukru a kończąc na wyrobach tabacznych, mydlarskich, porcelanie i materiałach piśmiennych taki typowy sklep z towarami kolonialnymi.