Le château-fort, au sein duquel naquit saint Hugues, le grand Abbé de Cluny, conserve son donjon carré roman, le plus ancien de Bourgogne (X-XIèmes siècles), haut de 22 mètres et divisé en 4 niveaux. Au devant, deux tours en demi-lune (XIIème siècle) protégeaient la porte d’entrée à pont-levis et herse, aujourd’hui bouchée. A la veille de la Révolution, elles sont aménagées en prison. Un édifice est construit au devant des tours pour abriter cellules et maison du geôlier. Il abrite aujourd'hui des salles d'exposition sur la généalogie de Saint-Hugues et une collection d'affiches de la période révolutionnaire.
Semur-en-Brionnais est la capitale historique du Brionnais. Le village est labellisé «Un des plus beaux villages de France » et il est le seul en Saône-et-Loire.
Le nom de la commune provient du latin Senemurum : « vieilles murailles ».
Le village a conservé de nombreux bâtiments, témoins de l'époque médiévale : le château St Hugues, château fort qui a vu naître Hugues de Semur, grand abbé de Cluny ; la collégiale St Hilaire et son magnifique tympan ; l'église St Martin la Vallée et ses peintures murales,... Des visites guidées du village sont proposées par l'association Les Vieilles Pierres.
Plusieurs randonnées traversent le village et vous conduisent de la vallée à la forêt, ainsi vous pouvez admirer le magnifique paysage typique du Brionnais avec ses haies vives et ses prairies verdoyantes.
Si vous cherchez le gîte ou le couvert, vous devriez trouver de quoi satisfaire votre attente.