Le four à Pain fut construit en 1874. Il est encore utilisé de nos jours lors de manifestations ponctuelles.

L'église date du XIe siècle, à l'emplacement d'une petite basilique ou monastère paleo-chrétien attesté en 843 comme Saint-Pierre, à proximité de l'église Saint-Étienne d'alors. Le site comporte également un cimetière qui a été utilisé avant la christianisation, puis du IIIe au Ve siècle. À 50 m de l'église, la première inscription mentionnant le Christ en Gaule romaine, datant de la même époque : l'inscription grecque de Pectarios. Au milieu du XVIIIe siècle, une partie de l'église Saint-Étienne et des mausolées funéraires du Bas-Empire sont encore visibles. Un rapport de 1750 décrit l'église Saint-Pierre comme « fort laide et irrégulière » mais l'église a alors toujours son clocher et sa sacristie, qu'un témoignage donne détruits en 1836, époque où l'église sert de grange. Une campagne de fouille, qui porte de juin à août 2020 sur le cimetière paleo-chrétien attenant, permet de dégager 150 sépultures, dont certaines comportent des sarcophages en grès, des coffrages en tuiles, des cercueils de bois ou de plomb… Un des cercueils de plomb est resté fermé depuis l'origine et devrait livrer ses secrets à la fin de la fouille. En outre divers objets de valeur dont un vase diatrète en verre — le premier découvert en France.

L'église de Milly a conservé de l'époque romane la travée sous clocher et le clocher carré ) à baies géminées.

Cette église a été construite à la fin du XVe siècle, vraisemblablement par l'abbé de Tournus dont dépendait Préty. A proximité : le platane « du Concordat », planté en 1801.