Aus dem Dunkel der Geschichte tauchten die Herren von Moers im Jahr 1186 auf: Elgerus und Theodericus de Murse unterschrieben als Zeugen eine Urkunde des Kölner Erzbischofs Philipp von Heinsberg.

Etwa zur gleichen Zeit dürfte der älteste nachweisbare Teil ihrer Moerser Burg entstanden sein: ein mächtiger quadratischer Wohnturm aus der Zeit um 1200.

Den Grafentitel führten die Erbauer der Moerser Burg erstmals 1226 - Dietrich II. unterzeichnete eine Urkunde als comes. Zur Regel wurde die Führung des Grafentitels aber erst ab Ende des 13. Jahrhunderts unter Dietrich V. von Moers (1295-1346).

Der heute noch im Schlosshof erhaltene 7 mal 7 Meter messende Turmstumpf wurde in den 1950er Jahren von Albert Steeger entdeckt und ausgegraben. Von dem 1,50 Meter mächtigen Mauerwerk ragen heute 1,10 Meter aus dem Boden. Knapp 5 Meter verbergen sich noch unter der Oberfläche. Das Mischmauerwerk beinhaltet auch römische Ziegel, die vermutlich aus Asciburgium, dem ehemaligen Römerlager in Moers-Asberg, stammen. Aus diesem Material bestehen auch die Tuffquader der äußeren Mauerschale.