Le musée, situé initialement dans l'hôtel de ville, est transféré en 1959 dans le château racheté par la ville.

Dominant la cité, la fière silhouette du château des Comtes du Perche est un témoignage unique de l'architecture militaire et résidentielle du Moyen Âge et du glorieux passé de Nogent-le-Rotrou. Le donjon rectangulaire de 30 mètres de haut surplombe la vallée de l'Huisne et verrouillait les axes conduisant au Maine et à la Normandie. Sa construction débute au début du XI^e siècle. Les Rotrou, premiers seigneurs du site puis comtes du Perche à partir de 1079. Une enceinte flanquée de sept tours, renforçant ainsi la défense, est édifiée entre la fin du XII^e siècle et le début du XIII^e siècle.

Parmi les nombreux sièges subis, celui mené par le comte de Salisbury en 1428 fut particulièrement violent. Une partie d'une façade du donjon céda et un incendie anéantit l'intérieur de la construction. La campagne de restauration qui s'est achevée en 2004 permet de pénétrer dans le donjon et de lire la vie qui s'y déroulait (emplacement de cheminées, aménagements d'hygiène, circulations, ...).

C'est au comte du Maine, Charles IV d’Anjou, entre 1460 - 1470, que le château doit son aspect actuel : aménagement du logis de deux étages et ses charpentes, au-dessus de la voûte d'entrée et les deux tours d'entrée surélevées.

La famille des Bourbon-Condé s’y installe, accompagnée d’une brillante cour. Charles de Bourbon, comte de Soissons, cousin germain du roi Henri IV, est le fils de Louis I^er de Bourbon, 1^er prince de Condé. Il est né au château de Nogent-le-Rotrou et y séjourne.

Du duc de Sully, propriétaire des lieux à partir de 1624, datent les dernières modifications du pavillon dit Louis XIII adossé au rempart nord.

Propriété de la ville de Nogent-le-Rotrou depuis 1950, le château connut d'importants travaux de restauration afin de l'aménager pour accueillir les visiteurs. Depuis mai 2019, le musée, également propriété de la commune, est désormais consacré à l’histoire du Perche.