Als Besucher auf dem Weg durch das schön gewölbte Tor, geziert mit einem Glockenturm, in die Stadt gelangten, wurde die Sicht auf den See durch eine grosse Residenz verdeckt, welche die Stadt vor dem Wind schützte. Aufgrund der geografischen Lage – an der Spitze der Halbinsel Saint-Prex, spielte das Manoir, damals mehr bekannt als «kleines Schloss», eine strategische Rolle in der Stadt.