L'église est placée sous le patronage de saint Gervais (de Chalon), un diacre assassiné dans la forêt environnante, alors qu'il retournait dans son pays, la ville du Mans, au retour d'un pèlerinage à Rome. L'évêque de Chalon fit construire dès le VIIème siècle une chapelle sur le lieu de son supplice. L'église actuelle date du XIVème.

Le village de Saint-Désert fut, dès le XIII° siècle, une possession de l’évêché de Chalon-sur-Saône. Un siècle plus tard, le chapitre de la cathédrale saint-Vincent de Chalon en est le seul seigneur. Cette absence de propriétaire laïc jusqu’au XVI° siècle explique sans doute l’inexistence de château-fort et le caractère défensif de l’église (la base des tours et la bretèche sont d’origine, le couronnement crénelé est un ajout du restaurateur), jadis située sur la ligne de remparts. La reconstruction du chœur, du transept et des chapelles, s'est faite entre 1862 et 1885, avec un clocher dominant la façade.