Au Ve siècle, nous trouvons déjà des traces de colonies romaines dans notre région. Vers 1880 en égalisant la place devant la nouvelle église en construction, on découvrit trois tombeaux gallo-Romains. Dès cette période, un fortin existait sur le Roc St Jean, probablement, succédant à un « oppidum » romain, où quelques légionnaires tenaient garnison pour veiller à la sûreté des gués du Tarn.
Sous Charlemagne « EYSENA » était une des plus grandes vigueries* du Rouergue, elle s’étendait sur les territoires du Truel, Pinet et sur la montagne jusqu’à Bouloc, les Canabières et la Besse. Les viguiers, sous les ordres du comte de Rodez étaient chargés de lever des impôts, de recruter l’armée et de rendre justice.
La tradition dans le pays dit qu’il y avait jusqu’à huit mille habitants. L’importance venait probablement de la situation du château difficile à prendre. En effet, les historiens en évoquant ce dernier le qualifient de « place forte de commandement sur une montagne inaccessible ». À ces époques, les habitants se regroupaient autour d’un édifice sûr, pouvant les protéger face aux différentes invasions.
* Territoire de la province administré par un viguier.
Au XIIe siècle nous retrouvons des écrits mentionnant en 1135 le château « d’EYSENA » propriété du vicomte d’Albi qui tenait la terre du comte de Rodez. Durant la première moitié du siècle, la moitié de la seigneurie appartenait à la famille « De Caylus » (St Affrique) indivise avec Broquiès.
Au XIIIe siècle, la moitié de la seigneurie appartenant aux De Caylus passa au comte de Rodez ce qui donna naissance en 1271 à un vicomté lui appartenant qui comprenait le château du Roc St Jean, la moitié ouest d’Ayssènes, la paroisse de Saint-Rémy (la partie nord de l’actuelle commune du Truel). L’autre moitié du village, Vabrette et Coupiaguet demeura à la seigneurie de Broquiès. Dans Ayssènes, la grand rue faisait limite, d’où plus tard, deux communes : Ayssène – Broquiès et Ayssènes – La Besse.
Au XIV et XVe siècle, le vicomte d’Ayssènes – la Besse, comte de Rodez n’y venait que très rarement, il entretenait au château une garnison sous les ordres d’un capitaine. La comtesse Cécile fonda une chapelle en 1312 dédié à St Jean l’évangéliste. Le roi Charles VII fut de passage à Ayssènes le 13 mai 1437, il était en tournée dans le Languedoc pour organiser la lutte contre les brigands qui pillaient notre région. Durant cette période la famille de Combret régnait sur la seigneurie d’Ayssènes – Broquiès.
Vers 1445 Brenguier de Calmont construit la maison forte du Pouget et y vécu noblement et à la façon des nobles il fonda une chapelle dans l’église d’Ayssènes. En 1479 naissance de Eugène Salvanh architecte d’édifices religieux et notamment du clocher de la cathédrale de Rodez.