Ainsi nommée en mémoire du notaire Hervé Rousseau, cette résidence (1842) se caractérise par son toit à larmier cintré communément appelé toit «Kamouraska».

Cette maison est maintenant un lieu d'interprétation du patrimoine et on y trouve des produits de métiers d’art et deux galeries d’art.