Le château-fort, au sein duquel naquit saint Hugues, le grand Abbé de Cluny, conserve son donjon carré roman, le plus ancien de Bourgogne (X-XIèmes siècles), haut de 22 mètres et divisé en 4 niveaux. Au devant, deux tours en demi-lune (XIIème siècle) protégeaient la porte d’entrée à pont-levis et herse, aujourd’hui bouchée. A la veille de la Révolution, elles sont aménagées en prison. Un édifice est construit au devant des tours pour abriter cellules et maison du geôlier. Il abrite aujourd'hui des salles d'exposition sur la généalogie de Saint-Hugues et une collection d'affiches de la période révolutionnaire.

En contrebas de la colline sur laquelle s'est développée la forteresse de Semur, cette petite église romane charpentée du XIème siècle, avec son clocher latéral (unique en Brionnais) était la première église de Semur, avant la construction de la collégiale. Elle conserve des peintures murales s'échelonnant du XIIème au XVIème siècle.Visite guidée sur réservation