De site van ChâteauFer is door de geschiedenis heen bewoond geweest.
Op de eerste sporen die de Kelten van Bituriges vóór de christelijke jaartelling achterlieten, bouwden de Romeinen, die met de troepen van Caesar kwamen, hier een villa. Het land van Le Breuil sur Hyvernin was zeer gastvrij: een beekje, een bos, vruchtbaar land met veel wild… Daarna was een opeenvolging van heren en edelvrouwen eigenaar van het leengoed en het land van Le Breuil sur Hyvernin, Marie, Antoine, Nicolas…. Voordat Charles Le Fer het landgoed ontving als bruidsschat en opdracht gaf tot de bouw van het huidige kasteel in 1660.
De titel Châteaufer werd gecreëerd door zijn dochter Marguerite toen ze trouwde met Antoine François Robin. Het kasteelleven bleef hier floreren tot aan de Franse Revolutie. Vanaf de jaren 1770 woonde Etienne Boucart hier. Hij had veel door Europa gereisd als bouwkundig ingenieur. Hij was een wereldreiziger van de Verlichting en kwam hier om rust en plezier te vinden voor zichzelf en zijn gezin. Op 1 maart 1789 werd hij dood aangetroffen in zijn slaap. Hij liet zijn huis achter in de handen van de profiteurs van onrustige tijden, die het pand methodisch plunderden. Een waardevolle inventaris die bij zijn dood werd opgesteld, geeft een nauwkeurig beeld van zijn levensstijl, tussen het hof en het platteland.
De 19e eeuw op Châteaufer was een agrarische eeuw, gekenmerkt door het onderzoek en de innovaties van verschillende voorname boeren.
In de 20e eeuw werd het landgoed min of meer vrij gebruikt als kazerne, afhankelijk van het conflict: een remisecentrum voor cavaleriepaarden van het einde van de Napoleontische oorlogen tot 1914, een speelterrein voor de Sammies in 1919, een toevluchtsoord voor Spaanse families die het regime van Franco ontvluchtten in 1938, een werkkamp voor Franse jongeren tijdens de bezetting en een uitvalsbasis voor de gewapende verzetsacties van het 1e Regiment Infanterie met Groupement 32 “Jacques Coeur“. Na de bevrijding maakte Châteaufer uiteindelijk zijn rentree in de landbouw met de familie Bardin.
En zo begint nu de 21e eeuw, met een erfenis van alles wat voorafging en de energie om stapels stenen te verplaatsen.