Bâtiment construit entre 1781 et 1788 pour remplacer l'ancien auditoire du bailliage, affecté à l'hôtel de ville de Semur en 1793.

Au XVe s., un certain Botier serait tombé et décédé à l’emplacement de l’actuelle chapelle. Ses proches, notables de La Clayette, auraient alors érigé une croix en sa mémoire et, plus tard, une chapelle. Au fil du temps, la chapelle a acquis une importance de plus en plus grande, et a dépassé son statut de simple chapelle commémorative. Le 19 janvier 1794, la chapelle a été fermée par ordre du Conseil de surveillance de la Révolution, parce qu’elle servait de retraite à des fanatiques. Après la Révolution, la famille De Noblet a décidé de racheter la chapelle, afin de la rendre au culte. Le Marquis Louis-Marie-Abel De Noblet a réalisé de gros travaux afin de rendre à l’édifice son lustre d’antan, et en remerciement des grâces accordées par le Seigneur à sa famille durant la Première Guerre Mondiale. ?Malgré les travaux et l’enthousiasme de la population vis-à-vis de sa nouvelle chapelle, l’engouement a pourtant été de courte durée et l’entretien de l’édifice abandonné. En 2015, la famille De Noblet a décidé de céder la chapelle à la municipalité de Varennes-sous-Dun pour un euro symbolique. Suite à cet achat, l’association des Amis de la Chapelle de la Croix-Bouthier (ACCB) a été créée pour faire revivre l’édifice. Depuis lors, de nombreux travaux et rénovations ont été réalisés.

Le décor sculpté témoigne d'une étonnante unité d'inspiration et de style. D'étranges petits personnages, aux corps grêles, surmontés de grosses têtes, grouillent sur les chapiteaux du chœur. On retrouve ce type de figures dans l'abside et sur les modillons extérieurs qui soutiennent la corniche. Ces sculptures grimaçantes semblent évoquer le monde païen avant sa conversion.

Cet édifice fût construit entre la fin du XI siècle et début du XIII pour remplacer une église primitive (placée sous le vocable de Saint Jean-Baptiste). L'église se situe dans l'enceinte d'un ancien château, siège d'un domaine agricole et seigneurial ou doyenné ayant appartenu à l'abbaye de Cluny. Au XIX siècle, jugé trop exigüe, elle est délaissée au profit d'une nouvelle église, ouverte au culte en 1870. Revendue, elle sert d'entrepôt de vin et de salle paroissiale avant d'être abandonnée. Elle est sauvée de la ruine et de la destruction par les Amis du Dardon, société savante locale qui acquiert le bâtiment en 1969 et entreprend sa restauration. Des expositions sont organisées en juillet et août.