Der frühklassizistische Bau wurde seit 1794 von Oberamtmann Matthias Scheidtmann errichtet und 1798 auf 8.000 Livres geschätzt - der höchste Wert für ein Wohnhaus in Moers. 1823 wurde das Haus für das evangelische Lehrerseminar angekauft, das in Moers über 100 Jahre, von 1820 bis 1925 bestand.

1815 hatte die Stadt sich bei der preußischen Regierung um die Einrichtung eines Lehrerseminars beworben, 1820 entstand es als drittes in der Rheinprovinz. Gründungsdirektor war Adolph Diesterweg (1790-1866). Nach dem Studium der Mathematik, Philosophie und Geschichte hatte er unter anderem an der Musterschule in Frankfurt/Main und in Elberfeld (heute Stadt Wuppertal) unterrichtet. In Moers begründete er seinen Ruf als Lehrer, Pädagoge und Publizist - in einer Epoche, in der der Anspruch auf Bildung für alle mühsam erkämpft werden musste. Wie kein anderer Zeitgenosse steht er für den Kampf um eine breite, auch naturwissenschaftlich orientierte Grundbildung, für die Durchsetzung der Schulpflicht, die Befreiung der Schule aus der Kirchenaufsicht und eine wissenschaftliche Ausbildung der Lehrer. Das war notwendig, denn in Preußen war zwar 1717 die Schulpflicht eingeführt worden, die Ausbildung der Volksschullehrer aber zunächst dem Zufall überlassen geblieben. Auch später gab es Widerstand gegen einen allzu intensiven Unterricht.

Den erfuhr auch Diesterweg während der ersten Jahre in Moers. Die anfänglichen Schwierigkeiten dauerten bis 1823, als ein eigenes Haus mit außerhalb der Stadt gelegenem Garten erworben wurde. Hier fanden die Unterrichtsräume und zunächst 18 Seminaristen Platz,außerdem als neue Einrichtung eine Übungsklasse für fünf- bis siebenjährige Kinder. Das Programm des Seminars war breit gefächert: Es umfasste, neben Sprache und Mathematik, Religion, Naturkunde, Geschichte und Geographie, Pädagogik, Didaktik, Zeichnen, Schreiben und Musik. Erwünscht war auch „eine zweckmäßige Anleitung zum Gartenbau und zur Obstbaumzucht". Die Ausbildung dauerte zunächst zwei Jahre. Seit 1827 gab Diesterweg die einflussreiche Zeitschrift „Rheinische Blätter für Erziehung und Unterricht" heraus und publizierte zahlreiche Lehrbücher für Lehrer und Schüler. So war für zwölf Jahre Moers das Zentrum einer Reform der Volksschulerziehung.

1832 wurde Diesterweg nach Berlin berufen, Franz Ludwig Zahn (1798-1890) trat seine Nachfolge an. Das Seminar erhielt 1866 einen Neubau jenseits der Altstadt, das heutige Gymnasium Adolfinum. Das ehemalige Lehrerseminar gehört heute der Katholischen Kirchengemeinde St. Josef.