Charolles est riche d'un patrimoine architectural et historique. Le fleurissement et la mise en valeur paysagère sont les composantes incontournables de son cadre de vie. La cité de Charles le Téméraire, située à la confluence de l'Arconce et de son affluent la Semence, est parsemée de nombreuses passerelles fleuries, ce qui lui vaut le surnom de "la Petite Venise du Charolais". Le nom de Charolles pourrait provenir du terme celtique “Kadrigel” signifiant “forteresse d’eau”. L’ancien château comtal de Charolles était une imposante forteresse, située sur un éperon rocheux dominant la ville actuelle, dont il ne reste que deux tours encore en élévation.
Le Musée est situé dans un ancien prieuré clunisien, fondé au XIIème et réaménagé au XVème siècle, témoin de cette époque, la salle d’apparat, classée Monument historique et restaurée en 2003. Le musée accueille désormais un musée complet où la faïence de Charolles (1844 à nos jours) côtoie les paysages de J. Laronze (1852-1937) et de P. L. Nigaud (1895-1937). L'ancienne chapelle du XIXème siècle abrite les œuvres de R. Davoine, sculpteur charolais (1888-1962). Chaque année, au printemps, une exposition dossier présente les collections sorties des réserves. Elle est complétée par une exposition de céramique contemporaine tous les étés.