Le château-fort, au sein duquel naquit saint Hugues, le grand Abbé de Cluny, conserve son donjon carré roman, le plus ancien de Bourgogne (X-XIèmes siècles), haut de 22 mètres et divisé en 4 niveaux. Au devant, deux tours en demi-lune (XIIème siècle) protégeaient la porte d’entrée à pont-levis et herse, aujourd’hui bouchée. A la veille de la Révolution, elles sont aménagées en prison. Un édifice est construit au devant des tours pour abriter cellules et maison du geôlier. Il abrite aujourd'hui des salles d'exposition sur la généalogie de Saint-Hugues et une collection d'affiches de la période révolutionnaire.

Édifiée au XIIème siècle, cette église est l'une des dernières églises romanes du Brionnais. L'influence clunisienne est manifeste dans le triple étagement de la nef, l'utilisation de l'arc brisé et la tribune en encorbellement au-dessus du portail occidental. La présence d'un triforium ouvert marque un moment de transition entre la fin de l'âge roman et le début du gothique. Le décor sculpté, notamment le tympan dédié à Saint-Hilaire, thème iconographique rare, est intéressant. Visites guidées pour groupes de 10 personnes minimum sur réservation.

En contrebas de la colline sur laquelle s'est développée la forteresse de Semur, cette petite église romane charpentée du XIème siècle, avec son clocher latéral (unique en Brionnais) était la première église de Semur, avant la construction de la collégiale. Elle conserve des peintures murales s'échelonnant du XIIème au XVIème siècle.Visite guidée sur réservation

La salle du Chapitre du XVIIème siècle réunissait les chanoines assurant le culte à la collégiale Saint-Hilaire. Le plafond à la française ainsi qu’une remarquable cheminée conservent des peintures du XVIIème siècle d’une grande qualité. Aujourd’hui réhabilitée en exposition sur l’art roman en Brionnais, cette belle vitrine dévoile les richesses des églises romanes en Brionnais et incite à les découvrir. Visite libre. Panneaux didactiques avec photos, schémas, maquettes, pièces lapidaires. La visite guidée pour groupes a lieu dans le cadre de la visite de la vieille ville de Semur.