Malgré son importance dans la vie saint-Preyarde, on ne peut reconstituer l’histoire de cet édifice qu’à partir de 1674, date à laquelle il apparait pour la première fois sur le plan cadastral. La famille le Fort propriétaire entreprend des aménagements toujours visibles et dote le Manoir de sa tour ainsi que le jardin de son cabinet.
L’immense platane, point de repère incontournable de Saint-Prex, a été planté dans les années 1660.