Charolles est riche d'un patrimoine architectural et historique. Le fleurissement et la mise en valeur paysagère sont les composantes incontournables de son cadre de vie. La cité de Charles le Téméraire, située à la confluence de l'Arconce et de son affluent la Semence, est parsemée de nombreuses passerelles fleuries, ce qui lui vaut le surnom de "la Petite Venise du Charolais". Le nom de Charolles pourrait provenir du terme celtique “Kadrigel” signifiant “forteresse d’eau”. L’ancien château comtal de Charolles était une imposante forteresse, située sur un éperon rocheux dominant la ville actuelle, dont il ne reste que deux tours encore en élévation.