Le château-fort, au sein duquel naquit saint Hugues, le grand Abbé de Cluny, conserve son donjon carré roman, le plus ancien de Bourgogne (X-XIèmes siècles), haut de 22 mètres et divisé en 4 niveaux. Au devant, deux tours en demi-lune (XIIème siècle) protégeaient la porte d’entrée à pont-levis et herse, aujourd’hui bouchée. A la veille de la Révolution, elles sont aménagées en prison. Un édifice est construit au devant des tours pour abriter cellules et maison du geôlier. Il abrite aujourd'hui des salles d'exposition sur la généalogie de Saint-Hugues et une collection d'affiches de la période révolutionnaire.
En contrebas de la colline sur laquelle s'est développée la forteresse de Semur, cette petite église romane charpentée du XIème siècle, avec son clocher latéral (unique en Brionnais) était la première église de Semur, avant la construction de la collégiale. Elle conserve des peintures murales s'échelonnant du XIIème au XVIème siècle.Visite guidée sur réservation
Ce centre fondé par le hiéromoine et iconographe Père Luc Devoisin-Lagarde est ouvert à la visite et présente une chapelle et un réfectoire avec fresques, une salle d'exposition, un atelier d'art religieux byzantin et un magasin de produits naturels, livres, icônes, cartes…
L’oratoire a été implanté directement sur un bloc granitique. Il est ouvert vers l’Est. On y accède par quelques marches en granit. Il est couvert d’une coiffe élancée surmonté d’une croix métallique. La maçonnerie est faite de blocs de granit assisés, peut-être issus du château qui était déjà en ruine lors de la construction de l’oratoire.
À l’intérieur, un calvaire surmonté d’une Vierge à l’Enfant est posé. Il est en grès, finement sculpté. La Vierge n’a été ajoutée que récemment, entre 1920 et 1950. La maçonnerie à l’intérieur ne présente pas de détail ou décor particulier hormis la présence d’une pierre traversante (façade Ouest) formant un chapiteau sculpté et une croix en bas-relief à l’extérieur.
À partir du XVe siècle, Uchon connaît un développement important, lié au pèlerinage autour des reliques de saint Sébastien (déposées dans l’église Saint-Sébastien, aujourd’hui dédiée à Saint-Roch, par le seigneur de Chateauvillain à son retour de croisade au XIIe s.). Face à l’afflux de pèlerins, l’église s’avéra trop petite. Un autel à l’extérieur est alors construit afin de réunir les fidèles lors de cérémonies. C’est ainsi que l’oratoire fut édifié. L’autel a été remplacé par un calvaire. Il fait partie, avec l’église et les ruines du château, d’un site classé en 1940.