Forteresse médiévale au milieu du vignoble, à l'architecture militaire : donjon carré du XIIe siècle, tours, courtines et chemin de ronde du XIVe siècle avec créneaux, mâchicoulis, meurtrières... La grande cour est entourée d'harmonieux communs du XVIIIe siècle couverts du plus grand ensemble de toits de pierre en Bourgogne. Terrasse avec vue sur la vallée de la Saône. Parc à l'anglaise. La grande cuisine voûtée du donjon comporte une cheminée monumentale du XVe siècle.

Le château-fort, au sein duquel naquit saint Hugues, le grand Abbé de Cluny, conserve son donjon carré roman, le plus ancien de Bourgogne (X-XIèmes siècles), haut de 22 mètres et divisé en 4 niveaux. Au devant, deux tours en demi-lune (XIIème siècle) protégeaient la porte d’entrée à pont-levis et herse, aujourd’hui bouchée. A la veille de la Révolution, elles sont aménagées en prison. Un édifice est construit au devant des tours pour abriter cellules et maison du geôlier. Il abrite aujourd'hui des salles d'exposition sur la généalogie de Saint-Hugues et une collection d'affiches de la période révolutionnaire.