Habité dès l’époque gallo-romaine, Baronville fut d’abord une résidence fortifiée destinée à contrôler la vallée de la Voise. En 1623, un château d’agrément est édifié dans cet écrin de verdure par la famille de Montescot. Passé ensuite par mariage dans la famille de Lattaignant, la seigneurie de Baronville est acquise en 1783 par le Marquis d’Aligre, premier président du parlement de Paris.
 
En 1868, son arrière petit-fils le Marquis de Pomereu d’Aligre fait raser l’ancien château et édifier l’actuel, conçu pour les réceptions du Second Empire. Durant le XXème siècle, les guerres, les occupations militaires et le temps mettent à l’épreuve le vaste édifice, jusqu’à ce que le Comte et la Comtesse de Rougé, descendants des bâtisseurs, entreprennent d’importantes restaurations pour sauver ce patrimoine historique.