Il semble avoir été édifié sur les vestiges plus anciens d’une place forte du Duc de Waïffre, duc d’Aquitaine, dans la guerre qui l’opposa à Pépin le Bref au VIIIe siècle.
Au XIIIe siècle, le château appartient aux Roussillon (parfois orthographié Roussilhon), famille de modestes chevaliers dont il tire probablement son nom.
Il devient ensuite la propriété de banquiers caorsins jusqu’au XIVe.
La guerre de Cent Ans opposant alors Français et Anglais, Raymond d’Antéjac, seigneur de Roussillon, reconnaît au roi d’Angleterre des droits à la couronne de France, et ouvre son château aux Anglais en 1355.
Les consuls de Cahors obtiendront leur départ moyennant finance.