Ce château fortifié possède six tours rondes ou carrées (dont une dite "La Panneterie" datant de 1300 environ) plus un colombier dans un jardin attenant. La cour interne est fermée de murailles. Les bâtiments de ferme se trouvant dans l’enceinte datent du XVIIème au XIXème siècle.
L'intérieur du logis se compose de 4 grandes "chambres" avec leurs cheminées et des "cabinets", d'une petite chapelle sur laquelle repose un colombier. L'ensemble du domaine est constitué d'une "garenne" (bois de buis et chênes), d'un verger conservatoire de variétés fruitières du XVIe siècle, d'une vigne conservatoire d'anciens cépages susceptibles d'être présents au XVIe siècle (50), d'un conservatoire de 80 cépages de chardonnay et d'un jardin poétique.
Ces énormes masses granitiques oscillent aujourd'hui encore entre légendes et preuves scientifiques. Le "gros caillou" de 47 tonnes est toujours un mystère que chacun essaie de faire "crouler". Au milieu du XIXe siècle, la Pierre qui croule suscitait curiosité, mystère et divertissement. Pour les habitants, cette pierre relevait du surnaturel. Elle était consultée comme un oracle et ces derniers avaient fini par la transformer en juge spécialiste de la fidélité conjugale. Il est dit que les maris jaloux y amenaient leurs femmes, leur laissaient toucher la pierre et ainsi la mettre en mouvement. Le nombre de mouvements donnait alors, et sans erreurs possibles, félicité ou disgrâce à l'époux qui se questionnait sur la fidélité de sa femme. Lassés des malheurs que la pierre pouvait causer, des jeunes gens ont essayé en 1869 de la déplacer. Ils ne réussirent qu'à la faire glisser de quelques centimètres. Mais désormais, la pierre est parfaitement immobile et l'oracle ne répond plus.
Les Rochers du Carnaval se situent à 684 mètres au sommet du massif d'Uchon. Ce site naturel de lande est parsemé de nombreux blocs de granit aux formes étranges. Un sentier fait le tour des trois chaos "le nez de chien, le Carnaval, le mammouth". Superbe panorama sur le Morvan.