L'église faisait partie de l'archiprêtré du Rousset et avait pour annexe Saint-Martin de Chérizet. Dès le XIème siècle, elle était possession de Perrecy-les-Forges et consacrée à Saint-Antoine. Elle a conservé de l'époque romane sont clocher et la travée sous clocher qui forme la croisée du transept, ainsi qu'une abside semi-circulaire, percée de fenêtres agrandies à l'époque moderne. L'église a été, en effet, profondément remaniée, en 1820-1821 : reconstruction d'une partie de l'église (nef et chapelles latérales), démolition et reconstruction de la sacristie nord, agrandissement de la sacristie sud.

L’église de Saint-Firmin fut primitivement placée sous le vocable de saint Martin. Saint-Martin-de-Chaseul prit au XVe siècle le nom de Saint-Firmin à l’occasion de la translation des reliques de ce dernier dans l’église du village. L’église se trouvait placée sous le patronage du prieuré de Saint-Sernin-du-Bois, qui lui assurait des prêtres. Le prieur de Saint-Sernin-du-Bois se trouvait être le seigneur du clocher, cependant la chapelle de cette église appartenait au seigneur du Breuil, en raison de son fief de la Vesvre, hameau alternatif de cette paroisse et de Saint-Firmin. L’église de Saint-Firmin, grâce au dernier prieur, J. B. Augustin de Salignac-Fénelon, a fait l’objet d’une restauration importante au XVIIIe siècle (1767). L'abbé Pierre Dufresne, desservant de Saint-Firmin à compter de 1784, prêtre insermenté en 1792, fut arrêté, incarcéré à Mâcon puis déporté à l'île de Ré pour avoir, en 1795, fait scier l'arbre de la Liberté planté à Saint-Firmin. L’église a été remaniée au milieu XIXe, avec adjonction d’une chapelle latérale nord (1868) et d’une sacristie dans l’axe du sanctuaire.