A proximité de la motte féodale, le premier château de pierre est édifié au XIIème siècle. Il entre alors dans la famille de Coëtmen, issue des ducs de Bretagne. En 1394, le château est détruit sur ordre du duc Jean IV pour punir le sire de Coëtmen, révolté contre le pouvoir ducal. Entre 1406 et 1598, le château est reconstruit et modernisé en trois phases. Au début du XVIIème siècle, Richelieu ordonne le démantèlement de Tonquédec, qui est alors vendu et abandonné, jusqu'à ce qu'il revienne, à la fin du XIXème siècle, dans la famille de Rougé, descendante des Coëtmen. Le château est classé Monument Historique depuis 1862 et est en cours de restauration, à l'initiative de ses propriétaires.