Jusquau XVe siècle, une forteresse médiévale, entourée deaux de tous côtés, sélevait dans la vallée voisine de celle de la Touques; En 1462, son propriétaire Pierre de Tournebu relève le château au sortir de la Guerre de Cent ans.
Lancien manoir disparaît à cette date au profit dune demeure à pans de bois dont subsiste aujourdhui le corps de bâtiment situé au nord. Mais cest surtout à Jean Tournebu et son épouse Marie de Croismare qui entretiennent des liens étroits avec lItalie que lon doit lessentiel du Vivet daujourdhui.

Reconstruite entre 1561 et 1588. La demeure se présente à lorée du XVIIème dans toute sa splendeur, dans le langage archit22160ectural et décoratif nouveau, celui de la Renaissance. Conservé presque intact jusquau milieu du XIXe, Livet subit de graves destructions avant de renaître peu à peu sous les soins éclairés de son dernier propriétaire: Julien Pillault, homme fin et cultivé, issu dune longue lignée dartistes (la famille Riesner, ébéniste et peintres XVIII et XIXe siècle) , la famille Pillault le lègue à la ville de Lisieux en 1957.