Vers l'an 1000, sur l'éperon rocheux de Richemont, se construit un château fort sous forme d'un donjon carré, un puits près du donjon et une enceinte qui ceinturait le bord du plateau. Détruit en 1179 par Richard Cœur de Lion, il ne reste de ce premier château que la crypte de l'église saint Georges.

Une première maison noble lui a succédé. Elle était inhabitable en 1610 et il n'en reste que les soubassements visibles dans les caves des bâtiments actuels, ainsi que le pigeonnier, une fuie ronde, qui a été construit entre 1574 et 1582 par Charles de l'Estang.

Au début du XVIIe siècle, sur les ruines est rebâti un château, constitué de deux pavillons au toit d'ardoise et dont il reste le grand portail, le mur crénelé d'entrée, l'avant cour, une des deux tourelles cylindriques ainsi que le grand escalier en pierre.

Le XIXe siècle voit la construction d'un bâtiment transversal au fond de la cour d'honneur, le rehaussement des pavillons, la construction du bâtiment transversal nord, de la chapelle, et l'ajout de l'aile droite puis de son prolongement. Toutes ces constructions sont limitées par l'éperon rocheux. L'ensemble appartient alors à l'évéché d'Angoulême et abrite un petit séminaire qui ferme en 1968.

Ensuite l'Institut de Richemont qui dispense des formations en alternance du Bac Pro au Bac+3 dans les domaines de l'agriculture, de la viticulture, de l'aménagement paysager et des services s'y est installée, puis les bâtiments ont été rachetés par la communauté de communes de Cognac.

 

Du château construit au milieu du XVIe siècle ne nous restent que le pigeonnier, une fuie ronde, les caves et quatre pavillons couverts d'ardoises.

L'avant cour encadrée de deux tourelles dont une seule existe encore, la porte cochère et la longue courtine couronnée de merlons de fantaisie datent du XVIIe siècle

Au XIXe siècle la chapelle néogothique a été construite et l'aile sud a été remaniée.