Le bâtiment a servi à différentes fins entre la Confédération et 1996. Une école pour les sourds-muets s'y est installée entre 1896 et 1900. Pendant la Première Guerre mondiale, il a servi de caserne militaire puis d'hôpital pour les soldats de retour au pays. De 1934 à 1988, la Division J. de la GRC y a aménagé son quartier général.
Depuis sa réouverture en 1999, la Résidence du gouverneur du Nouveau-Brunswick est ouverte au public. Parmi les salles restaurées on trouve, à l'étage principal : la salle de réception, la salle à manger, la bibliothèque, la salle de musique, deux serres et le bureau original du lieutenant-gouverneur. Le deuxième étage comprend deux salles d'exposition et le bureau de le lieutenant-gouverneur actuelle. La résidence privée du lieutenant-gouverneur est située au troisième étage et n'est pas accessible au public.
Quinze gouverneurs et lieutenants-gouverneurs ont habité et exercé leurs fonctions à la Résidence du gouverneur.