Les premières traces de l’Homme à Gramat remontent à l’ère Mésolithique, avec la découverte d’outils et d’un crâne. On y trouve aussi plusieurs tumuli datant de la période celtique, environ 3000 ans avant JC. L’histoire de Gramat prend son envol à l’époque gallo-romaine, grâce à son emplacement stratégique, à la croisée des voies Cahors/Limogne et Rodez/Périgueux. Mais, comme on peut l’imaginer, cette situation géographique a aussi ses inconvénients, puisqu’elle facilite les invasions, notamment au VIIe siècle par les Arabes et aux IXe et Xe siècles par les Normands.
Du XIIe au XIIIe siècle, la ville se développe aux côtés du pèlerinage de Rocamadour. C’est alors une cité marchande prospère, avec des foires et des marchés, gouvernée par six consuls. Mais après la guerre de Cent Ans et la peste, la ville est en grande partie détruite. À la fin du XIVe siècle, il ne reste plus que cinq foyers à Gramat.