L'église est placée sous le patronage de saint Gervais (de Chalon), un diacre assassiné dans la forêt environnante, alors qu'il retournait dans son pays, la ville du Mans, au retour d'un pèlerinage à Rome. L'évêque de Chalon fit construire dès le VIIème siècle une chapelle sur le lieu de son supplice. L'église actuelle date du XIVème.

Le village de Château est situé à 5 km à l’ouest de Cluny. L'église, dédiée à Saint-Martin, est isolée au-dessus du village, sur la Montagne de la Garenne, à l’extrémité d’un éperon accessible par un chemin étroit menant au cimetière et à l’ancien presbytère. L’édifice, ancienne chapelle castrale, devenu trop exigu, est presque totalement reconstruit en 1848 (transept et abside). Seule la nef est conservée. Au nord de l’église, le donjon du château, haut de 20 mètres, devient le clocher de la nouvelle église, à laquelle il est raccordé. Cette tour massive constitue le dernier vestige d’une maison forte. Louis le Bègue, roi des Francs (846-879), en avait donné la propriété, à la fin du IXe siècle, aux chanoines de la cathédrale Saint Vincent de Mâcon.