Le nom de la terre de Baronville remonte au Bas Empire romain. C'est à cette époque que l'endroit fut appelé BARONIS VILLA, domaine du baron, titre alors porté par les " hommes forts " chargés de la protection des marches de l'Empire.

Le fief de Baronville, seigneurie, châtellenie, puis comté, dépendait de la baronnie d'Auneau puis, plus tard, du Duché de Chartres.

Du Moyen-Âge à nos jours se succédèrent en ce lieu sept familles: les maisons de PRUNELÉ, de GYVÈS, de MONTESCOT, de LATTAIGNANT, d'ALIGRE, de POMEREU d'ALIGRE et enfin de ROUGÉ. Le château fut, au Moyen-Âge, un manoir fortifié dont il reste une partie importante des douves, des fondations et des caves.

La tradition locale raconte que la Pucelle d'Orléans, sainte JEANNE d'ARC, aurait délivré Baronville et le pays environnant de l'occupation anglaise durant la Guerre de Cent Ans.