L'histoire du Château de Charron remonte au milieu de XIIième siècle, ou sa construction est ordonnée vers la moitié de XIIième siècle par Edouard d'Angleterre.

Durant les guerres de religions, le château passa successivement aux mains des parties en présence et fut endommagé. Il est ruiné par la garnison catholique de Marans en 1574.

La façade intérieure reconstruite en 1596, le Château de Charron fut la propriété successive de François de Pons de Mirambeau, Carles Poussard Seigneur de Beaumarchais, Nicolas de l'Hôpital Duc de Vitry, Renée de l'Hôpital Marquis de Choisy puis vers 1744 Pierre Chertemps de Seuil Commissaire Général de la Marine.

Les filles de ce dernier héritent du château en 1821. L'une d'entre elles est la fondatrice de la congrégation des filles de la Croix. Elles mettent à profit le château pour assister les pauvres, s'occuper des malades et de l'éducation des plus jeunes de la commune.

En 1852, le ministre de l'agriculture subventionne la création d'une fromagerie.

L'école devenue communale en 1870 est laïcisée en 1888. Il s'ouvre un pensionnat en 1890. En 1904 les sœurs ferment l'école et le pensionnat, mais continuent les œuvres de charité.

Après l'occupation allemande, des réparations sont entreprises et à partir de 1956, le château est progressivement aménagé en maison de retraite.

En 1963 eut lieu la bénédiction solennelle de la chapelle restaurée et érigée en oratoire semi-public.

A partir de 1982, rénovation totale de Château de Charron.

Enfin, en 2002, création de la "Maison Familiale" du château de Charon.