De ce Château, pillé après la Révolution puis abandonné, il reste des vestiges qui nous rappellent son passé prestigieux. Contre la base de la tour d’Alone, tour carrée du XIIème siècle, s’appuient les bases des courtines reconstruites au XVIIIème siècle, flanquées de trois tours rondes. Une quatrième tour ronde reste à découvrir. La tour septentrionale offre une salle voûtée très bien conservée qui abrite une population de petites chauves-souris. Ces vestiges, partiellement entourés des douves, montrent l’emplacement du pont-levis des XVIème-XVIIème siècles. Les bâtiments de la basse-cour dont celui des communs font penser à un petit château et sont conservés. La chapelle castrale agrandie en habitation a résisté à l’incendie de 1953. Ce château a connu des personnages célèbres. Françoise de Toulonjon, épouse d'Antoine de Toulonjon, était la fille de sainte Jeanne de Chantal et la tante de la marquise de Sévigné. Leur fille, Gabrielle de Toulonjon a épousé Roger de Rabutin comte de Bussy. Le dernier propriétaire fut Charles Gravier de Vergennes.

L'église de Saint-Albain comprend un clocher et un chevet de style roman à bandes lombardes (comme le petit clocher du massif porche), mais l'édifice n'est pourtant pas antérieur au XIIIe siècle et son chœur, comme les croisillons, est voûté d'ogives sur culots, formes gothiques. Il s'agit donc d'un bâtiment qui marque la transition entre les deux styles.