Cette maison bâtie en contre bas du hameau de Flossac, a peut-être été à l’origine la villégiature du seigneur de Flossac placée au centre de sa propriété (supposée). Par la suite, il est probable que certains de ces dits seigneurs aient habité à Saint-Agrève.
Le bâtiment est répertorié au XIIIe siècle. En effet, « en 1518, suite à un plainte de l’évêque du Puy au sujet de l’exploitation des bois de Cheyne, près de Montréal, lors du procès tenu à Tence, face au représentant de l’évêque, Odilon de Doyat, le seigneur de Flossac exhibe des actes de 1293 et 1295 qui attestent du droit des seigneurs de Flossac à exploiter ces bois pour un usage personnel. La production de ces documents lui permet d’obtenir gain de cause et d’être entièrement rétabli dans ses droits d’utiliser les bois de cette forêt, mais avec l’interdiction de couper pour vendre. »
Les traces des « de Flossac » les plus anciennes apparaissent dès le XIVème «Mondon de Flossac, de Saint-Agrève, prêta hommage en 1343 et 1354 au comte de Valentinois pour les biens et seigneurie qu’il avait en mandement de Saint-Alban... » puis au XVème siècle, en 1449, Antoine de Flossac est témoin lors de la signature de la charte de St-Agrève et en 1464 Claude de Flossac intendant du château de Saint Agrève, est représentant des Polignac aux estimes. Il semblerait qu’il avait hérité de cette fonction, une partie de la famille « de Flossac » habitait alors Saint-Agrève. On retrouve en 1522, dans un acte testamentaire, au château de Chanteloube, un Claude Bayle de la Bâtie de Flossac.... celui-ci aurait(?) donné à son fils Jean, issu d'un premier mariage cette propriété. Et c'est par le mariage en 1539 de Germaine de Flossac (fille de Jean(?)) et de Vital Cénat, que Flossac passe à la famille Cénat (famille de juges et de Baillis du Puy) qui se firent alors appeler de Cénat de Flossac.
Et c’est à cette occasion que le bâtiment prend la forme dont nous voyons les restes : tourelles, bretèches façade & mur nord, fenêtres et escaliers, les cheminées (peut-être pré-existentes) et aménagements intérieurs totalement disparus. Il n’y a aucune fonction militaire dans cet aménagement, seulement l’anoblissement d’un bâtiment auquel la famille Mercuret, certainement déjà co-seigneur de Flossac, a paru, par la suite fort attachée. Le blason reconstitué, peut-être interprété comme étant celui des Cénat de Flossac. L’élément le plus significatif de cette rénovation est la dissymétrie des « piliers » encadrant la porte. Celui de droite est « droit », celui de gauche est penché (intentionnellement). Ils représentent les deux obédiences religieuses  et annoncent que dans cette maison ces deux obédiences sont également accueillies.
En 1546, Christophe de Flossac rend hommage à Armand de Polignac, coseigneur de St-Agrève. Et on le trouve en 1564 à Malte lors de confrontations avec l’armée turque, de retour de la dernière session du concile de Trente « ….Louis de Flossac, Commandeur des Bordes, Capitaine de la Cavalerie,(...)».
Au cours du XVIème siècle une partie des terres de Flossac serait devenue la propriété de François de Mercuret, lui conférant le titre de « seigneur de Flossac ». Cette dévolution aurait eu pour origine son mariage avec une Bayle de la Bâtie de Flossac.
En 1597, suite au mariage de Jean de Cénat et de Jeanne de Mercuret, les Mercuret revendiqueront le titre de seigneur de Maleval (ou de Flossac). A cette occasion François de Mercuret (oncle de Jeanne) lui remet en dot sa part dans la propriété. Le jeune couple est alors en possession de toute la seigneurie. Les Mercuret , se feront appeler seigneur de Flossac ou de Malleval. Privas la protestante avait été assiégée et prise par les troupes royales en 1629. Près de cinquante ans plus tard, en 1672, " Jacques II de Cénat, seigneur de Flossac, vendit les domaines de Flossac et du Bouchet, avec différentes rente à noble Claude de Clavières, baron de Saint-Agrève au prix de 13.665 livres payables en six termes de 2.277 livres chacun. " Jacques II avait un frère, Jean, qui portait le titre de seigneur de Flossac. Il est possible qu'au décès de Jean ( vers 1670), Jacques s'attribue le titre et la propriété et la vende. Ce qui expliquerait le procès tardif des descendants de Jean. Mais continuons de lire cette affaire de vente aux  Clavières. " Mais 3 ans s’étant écoulés, sans que sieur de Clavières payât ni capital ni intérêts. Flossac fut obligé de s’adresser au juge mage du Puy qui rendit un décret portant saisie-arrêt et prise de corps contre le débiteur ; mais le baron de Clavières, au lieu de se soumettre, menaça de battre l’huissier et empêcha toute saisie. Finalement, le sieur de Flossac fut obligé de recourir à l’intendant du Languedoc «  parce-qu’il ne trouvait plus aucun huissier, ni sergent, ni archer qui voulut mettre à exécution le jugement rendu au Puy, ni même faire aucune saisie sur les fonds et fruits de Clavières, à cause de l’autorité qu’il a au dit lieu qui est situé dans un pays de montagnes fort éloigné de tout commerce.
Et c’est le 5 novembre 1685, que l’intendant de Lemoignon ordonna au Prévot de mettre à exécutions le décret rendu au Puy. »
Françoise de Cénat de Mercuret (1674-1730), fille de Jacques II de Cénat, se marie en 1695 avec Pierre Crouzet, notaire royal et procureur juridictionnel à St-Agrève. Ses descendants se font appeler Crouzet de Flossac et conservent ce titre jusqu’à la Révolution. Cette branche de la famille qui n’habitait certainement pas à Flossac, eu vers 1730 un long procès avec les héritiers de Jean de Cénat fondé sur des substitutions contenues dans le testament de François de Mercuret.
C’est au cours du XVIIIème siècle que fut construite la grange, parallèle au « château », et que cet ensemble devint une ferme. Nombre de pierres utilisées provenaient de la maison forte, par exemple l’arche de la porte de l’écurie étant celle d’une de ses cheminées.
Pierre Jean Joseph Crouzet de Flossac, avocat et juge de la baronnie de Montréal, syndic du bureau des pauvres de St-Agrève de 1781 à 1789, fut le premier consul maire, et a rendu à cette ville d’éminents services, parmi lesquels la réintégration de l’hôpital ND de Lestra en ses droits et biens et le développement de l’école de jeunes filles pour les familles pauvres, sous la direction des Sœurs de St-Joseph, chargées aussi des soins aux personnes malades indigentes.