Erstmals erwähnt wird das Cyriakusklosster Naumburg (castello Nuwenburg) im Jahre 1035. Es wird angenommen, daß diessses Kloster in einer früheren Reichsburg der Salier gestiftet wurde. Heinrich IV. schenkte 1086 den kaiserlichen Besitz dem Bischof von Speyer, der die Benediktiner-Propstei 1149 dem Kloster Limburg a. d. Haardt übertrug. 

Der Zerstörung der Anlage in den Wirren des Bayrisch-Pfälzischen Erbfolgekrieges und dem Wiederaufbau im Jahre 1505 folgte bald der Niedergang des Ordenslebens. Die Mönche hielten keinen Gottesdienst, keine Horae canonicae (Gebetsstunde), sondern trieben "nichts denn Fressen, Saufen, Spiel und Huren", wie ein Zeitgenosse klagte. 

Drei Jahre nach dem Tod des letzten Abtes (1558) erwarb Graf Philipp III. von Hanau die  Patronatsrechte des "Clösterlein" Naumburg, die auch von der Burg Friedberg beansprucht wurden. Infolge der bestehenden Spannungen kam es 1564 bis 1569 zur Naumburger Fehde, die in den Annalen auch als "Heukrieg" Erwähnung findet. 

Später ging der Besitz nach bereits 1642 erfolgter Verpfändung an den Prinzen von Hessen-Kassel über, der in den Jahren 1750 bis 1754 anstelle der ehemaligen Klosterkirche das "Schlößchen" erbauen ließ. Aus dieser Zeit stammt auch das reichverzierte Eingangsportal. 

Nachdem die Naumburg 1866 dem Staate Preußen zugefallen war, wurde sie dann von der Gemeinde Erbstadt erworben. In der Folge wechselten Besitzer und Nutzung des Schlosses mehrmals. Im Jahre 1973 kaufte die Arbeitsgemeinschaft der Christengemeinden Deutschlands (ACD) die Naumburg und errichtete hier eine Tagungs- und Begegnungsstätte.

Die Naumburg befindet sich heute wieder in Privatbesitz.