C’est à la fin du 12ème siècle que le baron de Castelnau-Gramat entreprend la construction de ce château. Un siècle plus tard, il tombe entre les mains du roi d’Angleterre, après avoir été cédé par le roi de France. Ce n’est cependant qu’au cours de la guerre de Cent Ans que ce château acquiert sa sombre réputation : on raconte que des brigands en ont fait leur repaire.
Perché à flanc de falaise, presque inatteignable, le château des anglais, avec ses deux mètres de largeur à peine, intrigue autant qu’il fascine. Cette forteresse semi-troglodyte, dominant le site d’Autoire, se dresse ainsi, chargée de mystère et d’histoire et invite les passants à imaginer les secrets qu’elle a pu abriter.