L'église est placée sous le patronage de saint Gervais (de Chalon), un diacre assassiné dans la forêt environnante, alors qu'il retournait dans son pays, la ville du Mans, au retour d'un pèlerinage à Rome. L'évêque de Chalon fit construire dès le VIIème siècle une chapelle sur le lieu de son supplice. L'église actuelle date du XIVème.

L’église actuelle de Virey-le-Grand, de style néo-roman à trois nefs, construite en 1859, remplaça un édifice plus ancien au clocher remarquable. C’était l’un des plus beaux du diocèse, muni d’une tour carrée à deux étages de baies géminées en plein cintre. Elle était surmontée d’une flèche en pyramide de pierre à quatre rampants. Cette église ancienne avait été jugée trop exiguë et en trop mauvais état pour être réparée selon le rapport de 1852 de l’architecte Narjoux. Son clocher, devenu top dangereux, fut démoli en 1853. Charles-Louis Bandet (1815-1889), curé de Virey de 1856 à 1866, écrivain, a réalisé le projet de construction de l’église, consacrée à l’Immaculée Conception, dont le dogme a été proclamé en 1854. La nouvelle église de Virey-le-Grand a été construite en 1859 sur les plans de l’architecte André Berthier, révisés avec l’adjonction des communes de Fragnes, La Loyère, Lessard-le-Royal qui a conduit à allonger la nef d’une travée. Elle a été inaugurée en 1860 et les autels ont été consacrés en 1861.