Selon des sources historiques, au XVIe siècle, la petite station balnéaire de Vaxholm était un village de pêcheurs dont les habitants, sur ordre du roi Gustave Ier Vasa, approvisionnaient en nourriture la garnison de la forteresse de Vaxholm. Au même moment, le comte Pierre de Brahé le Jeune a hérité de son père un domaine appelé Bogesund. Les terres sur lesquelles la ferme d'élevage se trouvait ne correspondaient pas aux idées de la résidence comtale du nouveau propriétaire. Tout au long de sa vie, le comte voyageait beaucoup et est resté impressionné par les magnifiques palais italiens. Conseiller royal, Pierre de Brahé le Jeune a décidé de s'installer durablement à Vaxholm, dans les environs de Stockholm, ce qui l'a obligé à transformer une modeste ferme en luxueuse résidence comtale.

Au cours des deux premières années, sur ordre du comte, les terres ont été défrichées, et après quelques années, le château de Bogesund dominait sur ce site. Au départ, c'était un bâtiment carré de 4 étages, et sur le toit, il y avait une plate-forme d'observation, qui offrait une vue imprenable sur Stockholm et ses environs immédiats. Le premier étage était occupé par des pièces de service, le deuxième étage était habité par des proches du comte, et le comte lui-même s'est installé au troisième étage. Toutes les réceptions solennelles avaient lieu au dernier étage, de sorte qu'il était pratique pour les invités de monter sur la plate-forme d'observation et de profiter de la vue fabuleuse.

Selon certaines informations, le roi Frédéric Ier de Suède lui-même séjournait au château au début du XVIIIe siècle. Dans le même temps, des balcons ont été ajoutés à la résidence, qui étaient à la mode au XVIIIe siècle dans les pays d'Europe du Nord. D'année en année, les propriétaires titrés se succédaient, jusqu'à ce que l'ancienne demeure se démode définitivement au début du XXe siècle. Le château de Bogesund, où il n'y avait ni électricité ni eau courante, n'intéressait plus l'aristocratie et a été bientôt abandonné.

Heureusement pour le château médiéval, l'État suédois a exproprié le bâtiment en 1946 et a commencé sa restauration. Aujourd'hui, l'ancienne résidence du comté est déclarée monument national en Suède. Le château est ouvert aux touristes depuis 2012 et est devenu l'une des principales attractions touristiques parallèlement à la forteresse de Vaxholm.