Die Geschichte des Manoirs geht zurück zur Gründung der Stadt Saint-Prex im Jahr 1234.

Als Besucher auf dem Weg durch das schön gewölbte Tor, geziert mit einem Glockenturm, in die Stadt gelangten, wurde die Sicht auf den See durch eine grosse Residenz verdeckt, welche die Stadt vor dem Wind schützte. Aufgrund der geografischen Lage – an der Spitze der Halbinsel Saint-Prex, spielte das Manoir, damals mehr bekannt als «kleines Schloss», eine strategische Rolle in der Stadt.