Au début du 18ème siècle fut construite la première maison de Fermens dans une clairière qui fut probablement défrichée à cet effet, afin de permettre au garde forestier d'être plus près de la forêt dont il devait s'occuper. Détail intéressant, la maison est placée à l'endroit précis où il y a le plus de soleil au mois de décembre. Quand on se rend compte combien le soleil est bas en décembre et les arbres qui entourent la clairière sont hauts, on est très content qu'à l'époque de la construction les bâtisseurs aient pensé à ça.
Autre détail frappant, la grandeur de la clairière devait correspondre à la surface nécessaire à une famille pour vivre plus ou moins en autarcie en élevant quelques bêtes et en cultivant un potager et un verger.
Cette clairière et cette forêt appartenaient à la famille de Mestral.
En 1912, pratiquement 200 ans plus tard, une partie de l'ancienne maison fut démolie et la nouvelle fut construite en s'appuyant sur le rural encore existant.
7 générations de garde-forestiers de la même famille Besson se suivirent jusqu'en 1971. Ensuite, ce fut le tour de quelques familles de locataires différents, les uns élevant des chevaux, les autres des chèvres et nous finalement des légumes, mais là commence une autre histoire, la nôtre.