Son nom provient du lieu de résidence, juste après la Révolution, d’un conseil magistral composé de deux nobles et de quatre prud’hommes chargés des paroisses de Castelnau, Bonneviole, Pauliac et Saint-Martin.
La plupart des maisons, tout comme le château, déploient de flamboyantes couleurs rouge et ocre grâce au calcaire gréseux riche en oxyde de fer. Outre ses belles maisons traditionnelles des XVIIIème et XIXème siècles, Prudhomat possède un riche patrimoine rural : anciens fours banaux, fontaines de pierre, croix de chemins, lavoirs, pigeonniers…