La ville d’Autun, fondée à la fin du Ier siècle av. J.-C. sous le règne d’Auguste, bien qu’en pleine période de paix romaine, a été dotée d’un rempart dès l’origine. La construction de cette fortification a une vocation tout d’abord honorifique. Il s’agit d’un rare privilège accordé par l’empereur lui-même à la capitale des Eduens. D’une longueur de 6 kilomètres, elle enserre l’espace urbain qui s’implante sur un terrain fortement incliné d’une superficie de 200 hectares, qui est délimité de toutes parts par un ensemble de cours d’eau. Dans ce cadre, la courtine d’une largeur moyenne de 2,50 m, assure donc également un rôle technique de mur de soutènement, en retenant les remblais des terrasses sur lesquelles s’implantent les constructions. La fortification est conservée sur plus des deux tiers de son tracé, un état de conservation exceptionnel pour un ouvrage de cette époque. Elle se compose d’une alternance de courtines et de 57 tours circulaires d’une dizaine de mètres de diamètre (30 tours sont encore visibles). Elle est percée de quatre portes monumentales à quatre baies au débouché des rues principales (3 d’entre elles sont partiellement conservées: la porte d’Arroux, la porte Saint-André et la porte Saint-Andoche) et probablement de plusieurs poternes, dont certaines ont été repérées récemment grâce aux interventions du Service Archéologique de la Ville d’Autun, en particulier au voisinage du théâtre et de l’amphithéâtre. Chacune des rues d’Autun, qui se coupent à angle droit selon un quadrillage régulier, aboutit à une tour du rempart. À la fin du IIIe siècle, la pointe méridionale de la ville antique est fermée sur une superficie d’une dizaine d’hectares par une enceinte réduite, qui sera progressivement agrandie au cours du Moyen-Age. La « ville haute » ainsi fortifiée accueille notamment le groupe épiscopal. On y pénètre au moyen d’une porte monumentale, dont les vestiges du XIIe siècle sont conservés rue des Bancs en contrebas du musée Rolin.

La pyramide de Couhard est un monument antique se dressant à proximité de l’ancienne nécropole du « Champ des Urnes ». Cette pyramide, qui surplombe la ville d’Autun, fut sans doute construite au Ier siècle apr. J.-C. Le monument est constitué des restes d'une pyramide de base carrée qui faisait 10,50 m de côté et 22,65 m de hauteur. Le monument ne contient pas de chambre intérieure. La pyramide se dressait dans une des grandes nécropoles de la cité romaine d’Augustodunum, l’ancienne Autun : les cimetières de toutes les villes romaines se situaient toujours en dehors des murailles. La pyramide de Couhard, dont l’interprétation a donné lieu à de nombreuses controverses, était donc très probablement un monument funéraire : un tombeau recouvrant les restes d’un défunt, ou un cénotaphe célébrant sa mémoire.

Ce passage relie la rue aux Cordiers à la rue Général André Demetz. La ville d'Autun commande ce passage couvert pour remplacer l'ancienne Halle à ciel ouvert datant de 1737, construite par l'architecte parisien François Franque. En 1848, l'architecte Palluet dresse les plans du passage tout en conservant la façade de l'ancienne halle donnant sur l'esplanade du Champ de Mars.

Au XVIIe siècle, il est donné aux propriétaires des espaces attenants au rempart, la possibilité d'abaisser ce dernier. De nombreux hôtels particuliers voient alors le jour dont celui de Millery qui réunit plusieurs anciennes maisons canoniales. Ce corps de bâtiment met en évidence l'escalier en fer à cheval. L’organisation du bâtiment permet de dégager la vue sur la campagne avoisinante, par-delà le rempart. Vous pouvez lire sur la grille, la devise de la famille en lettre de bronze "Vaincre ou mourir".

Au Moyen-Âge, l'évêque exerçait, dans la rue des Bancs, ses droits seigneuriaux sur la boucherie. Les bouchers y vendaient leur marchandise sur des bancs d'étal qu'ils installaient sur la voie publique. C'est donc en relation avec son activité commerciale que la rue est nommée rue des Bancs au XIVe siècle. La porte des Bancs, était l'une des deux tours rondes qui encadraient la porte principale de la "ville haute". Elle était à l'origine composée de deux tours rondes encadrant l'entrée, surmontée d'un poste de garde et fermée par un pont-levis. De cette ancienne porte qui fermait la ville haute, il ne reste plus qu'une tour à gauche. On peut encore apercevoir la gorge où s'appuyait l'axe de rotation et la rainure où se dressait la poutre du système de pont-levis. C'était, jusqu'au XVIIIe siècle, le seul accès à la ville haute depuis le nord de la ville. Des toilettes sont disponibles pas loin, du côté du musée Rolin. Des animations temporaires ont parfois lieux dans les Hauts-Quartiers y compris la rue des Bancs, comme des braderies.

Hôtel Arbelet, de style néo-Renaissance (dernier quart du XIXe siècle).

L'église date du XIe siècle, à l'emplacement d'une petite basilique ou monastère paleo-chrétien attesté en 843 comme Saint-Pierre, à proximité de l'église Saint-Étienne d'alors. Le site comporte également un cimetière qui a été utilisé avant la christianisation, puis du IIIe au Ve siècle. À 50 m de l'église, la première inscription mentionnant le Christ en Gaule romaine, datant de la même époque : l'inscription grecque de Pectarios. Au milieu du XVIIIe siècle, une partie de l'église Saint-Étienne et des mausolées funéraires du Bas-Empire sont encore visibles. Un rapport de 1750 décrit l'église Saint-Pierre comme « fort laide et irrégulière » mais l'église a alors toujours son clocher et sa sacristie, qu'un témoignage donne détruits en 1836, époque où l'église sert de grange. Une campagne de fouille, qui porte de juin à août 2020 sur le cimetière paleo-chrétien attenant, permet de dégager 150 sépultures, dont certaines comportent des sarcophages en grès, des coffrages en tuiles, des cercueils de bois ou de plomb… Un des cercueils de plomb est resté fermé depuis l'origine et devrait livrer ses secrets à la fin de la fouille. En outre divers objets de valeur dont un vase diatrète en verre — le premier découvert en France.