Au XVIIe siècle, il est donné aux propriétaires des espaces attenants au rempart, la possibilité d'abaisser ce dernier. De nombreux hôtels particuliers voient alors le jour dont celui de Millery qui réunit plusieurs anciennes maisons canoniales. Ce corps de bâtiment met en évidence l'escalier en fer à cheval. L’organisation du bâtiment permet de dégager la vue sur la campagne avoisinante, par-delà le rempart. Vous pouvez lire sur la grille, la devise de la famille en lettre de bronze "Vaincre ou mourir".

Le Ternin est une petite rivière venue des montagnes boisées du Morvan (né du lac de Chamboux et du Ruisseau de Conforgien, à la limite des communes de Saint-Martin de la Mer et d'Alligny en Morvan, donc à la limite des départements de la Côte d'Or et de la Nièvre, à une altitude de 480 m), et son bassin, comme son cours, s'étend dans les départements de la Côte-d'Or, de la Nièvre et de Saône-et-Loire. Il coule généralement en direction du sud et reçoit les eaux de multiples ruisseaux fort abondants, avant d'arriver en plaine. Il se jette dans l'Arroux après un périple de 48 kilomètres, à Autun. Le Ternin (dénommé "Torondam" au Moyen-Age, Tavernay en 1659, cette rivière fut aussi appelée la Tarenne, la Terrene, La Taraine. Lai Taraigne en Bourguignon-morvandiau.) est le tributaire le plus considérable de l'Arroux (d'une longueur de 120 kilomètres et affluent de la Loire, le plus long fleuve français) , dans lequel il se perd. Gamins, c'est ici qu'on allait se baigner l'été dans ce que l'on appelait sans vergogne "la piscine".

Au Moyen-Âge, l'évêque exerçait, dans la rue des Bancs, ses droits seigneuriaux sur la boucherie. Les bouchers y vendaient leur marchandise sur des bancs d'étal qu'ils installaient sur la voie publique. C'est donc en relation avec son activité commerciale que la rue est nommée rue des Bancs au XIVe siècle. La porte des Bancs, était l'une des deux tours rondes qui encadraient la porte principale de la "ville haute". Elle était à l'origine composée de deux tours rondes encadrant l'entrée, surmontée d'un poste de garde et fermée par un pont-levis. De cette ancienne porte qui fermait la ville haute, il ne reste plus qu'une tour à gauche. On peut encore apercevoir la gorge où s'appuyait l'axe de rotation et la rainure où se dressait la poutre du système de pont-levis. C'était, jusqu'au XVIIIe siècle, le seul accès à la ville haute depuis le nord de la ville. Des toilettes sont disponibles pas loin, du côté du musée Rolin. Des animations temporaires ont parfois lieux dans les Hauts-Quartiers y compris la rue des Bancs, comme des braderies.

Saint-Jean-le-Grand était une abbaye de femmes fondée à l'époque mérovingienne. Les bâtiments romans ont disparu. Les façades et les toitures des bâtiments conventuels subsistant, construits entre la fin du XVIIe siècle et le 1er quart du XVIIIe, sont protégés au titre des monuments historiques.

L'église date du XIe siècle, à l'emplacement d'une petite basilique ou monastère paleo-chrétien attesté en 843 comme Saint-Pierre, à proximité de l'église Saint-Étienne d'alors. Le site comporte également un cimetière qui a été utilisé avant la christianisation, puis du IIIe au Ve siècle. À 50 m de l'église, la première inscription mentionnant le Christ en Gaule romaine, datant de la même époque : l'inscription grecque de Pectarios. Au milieu du XVIIIe siècle, une partie de l'église Saint-Étienne et des mausolées funéraires du Bas-Empire sont encore visibles. Un rapport de 1750 décrit l'église Saint-Pierre comme « fort laide et irrégulière » mais l'église a alors toujours son clocher et sa sacristie, qu'un témoignage donne détruits en 1836, époque où l'église sert de grange. Une campagne de fouille, qui porte de juin à août 2020 sur le cimetière paleo-chrétien attenant, permet de dégager 150 sépultures, dont certaines comportent des sarcophages en grès, des coffrages en tuiles, des cercueils de bois ou de plomb… Un des cercueils de plomb est resté fermé depuis l'origine et devrait livrer ses secrets à la fin de la fouille. En outre divers objets de valeur dont un vase diatrète en verre — le premier découvert en France.

Le portail de cet hôtel du XVIIe s. est protégé au titre des monuments historiques.

Hôtel Arbelet, de style néo-Renaissance (dernier quart du XIXe siècle).