Ce château fortifié possède six tours rondes ou carrées (dont une dite "La Panneterie" datant de 1300 environ) plus un colombier dans un jardin attenant. La cour interne est fermée de murailles. Les bâtiments de ferme se trouvant dans l’enceinte datent du XVIIème au XIXème siècle.
L'intérieur du logis se compose de 4 grandes "chambres" avec leurs cheminées et des "cabinets", d'une petite chapelle sur laquelle repose un colombier. L'ensemble du domaine est constitué d'une "garenne" (bois de buis et chênes), d'un verger conservatoire de variétés fruitières du XVIe siècle, d'une vigne conservatoire d'anciens cépages susceptibles d'être présents au XVIe siècle (50), d'un conservatoire de 80 cépages de chardonnay et d'un jardin poétique.
C'est un château-fort de plaine, daté du XVe siècle, remanié entre 1866 et 1878 par l'architecte Maurice Ouradou, gendre de Viollet-le-Duc. Il perd alors son caractère défensif et austère pour devenir un ensemble romantique néo-Renaissance avec des accents néo-gothiques. Les grands murs de défense sont remplacés par l'admirable cour d'honneur, s'ouvrant sur le parc pittoresque, dessiné par le lyonnais Luizet. Les immenses douves, qui enserrent aussi les communs, offrent de spectaculaires miroirs d'eau. Elles sont notamment alimentées par les gargouilles de la toiture de la façade Ouest, au modèle de celles de la cathédrale Notre-Dame de Paris. Les écuries ont conservé plusieurs éléments et présentent des voitures hippomobiles, des voitures d'enfant et la sellerie avec ses accessoires. Le parc se compose de grands arbres, parfois plus que bicentenaires, et de massifs de buis. Un des chênes est labellisé arbre remarquable.
Les extérieurs du château, la cour d'honneur, les écuries et la sellerie sont ouverts à la visite.
Pour les groupes: visite sur rendez-vous toute l'année.
L'association Castrum Lordo et ses bénévoles travaillent tous les jeudis pour préserver ce site qui fut un des plus importants château de Bourgogne, étroitement lié à l'histoire de l’abbaye de Cluny.
Démoli en 1632 par des mines en préservant volontairement la salle d'apparat de Jacques d'Amboise, le jeu de paume, les écuries, les restes du château ont été sans doute utilisés comme bâtiments agricoles au profit des moines jusqu’à la révolution.
La visite du château nécessite une bonne mobilité et des chaussures de marche. Les animaux sont admis mais tenus en laisse.