W XIX wieku budynek synagogi był częściowo murowany pokryty dachówką. Jego stan techniczny był zły i groził zawaleniem, dlatego 27 maja 1817 roku władze nakazały jej rozebranie. Miejscowi Żydzi, bez pomocy gminy żydowskiej wznieśli nową synagogę. Synagoga została wzniesiona w 1856 roku na planie prostokąta pomiędzy ul. Kozią i ul. Sienną. Była budowana pospiesznie i groziła zawaleniem, jednak w 1858 roku budowniczy powiatu mławskiego Józef Maleszewski uznał, że budowla nie zagraża bezpieczeństwu. Swój późniejszy wygląd zawdzięcza kapitalnemu remontowi wykonanemu w 1879 roku. Budynek przerobiono od podstaw między innymi wykonano chór dla kobiet oraz artystycznie zdobiony plafon. Cały remont kosztował tutejszą gminę żydowską 3000 rubli.