Der Ort “Nordheim” wurde erstmals im 8. Jahrhundert erwähnt, erst im 14. Jahrhundert wurde er in Kaltennordheim umbenannt. Seit dem frühen Mittelalter war der Ort im Besitz des Klosters Fulda, bis ab Mitte des 13. Jahrhunderts die Grafen von Henneberg große Gebiete erwarben, um den Einfluss der Abtei zurückzudrängen. 1334 wird Kaltennordheim als hennebergischer Amtssitz genannt. Aus dieser Zeit der hennebergischen Herrschaft stammt der Vorgängerbau des heutigen Schlosses, die Burg Merlinse oder Merlinsburg. Diese Wasserburg war bis 1583 der Amtssitz der Grafen von Henneberg, von dem aus sie ihr Territorium verwalteten. Nach der Zerstörung 1634 wurde die Merlinsburg nicht wieder aufgebaut.
Bei der Hennebergischen Teilung wurde der Besitz des Geschlechts an mehrere Linien aufgeteilt und der Ort Kaltennordheim fiel an Sachsen-Weimar. Er kam 1662 an Sachsen-Eisenach und 1741 schließlich an die Herzöge von Sachsen-Weimar-Eisenach. Im Jahr 1754 wurde an Stelle der Burg das sogenannte Schloss errichtet. Das schlicht gestaltete Amtshaus steht auf der Mauer der ehemaligen Merlinsburg, von der nur noch wenige Reste erkennbar sind. Für das Torhaus wurden ebenfalls aus dem Mittelalter stammende Bauteile verwendet. Zu DDR-Zeiten wurde das Schloss als kulturelles Zentrum genutzt, heute befinden sich darin das Heimatmuseum und gleich nebenan die Museumsscheune.