Le village de Saint-Désert fut, dès le XIII° siècle, une possession de l’évêché de Chalon-sur-Saône. Un siècle plus tard, le chapitre de la cathédrale saint-Vincent de Chalon en est le seul seigneur. Cette absence de propriétaire laïc jusqu’au XVI° siècle explique sans doute l’inexistence de château-fort et le caractère défensif de l’église (la base des tours et la bretèche sont d’origine, le couronnement crénelé est un ajout du restaurateur), jadis située sur la ligne de remparts. La reconstruction du chœur, du transept et des chapelles, s'est faite entre 1862 et 1885, avec un clocher dominant la façade.