Sua construção remonta a 1567, com o estabelecimento de um posto de vigilância. A construção do Forte só se iniciou em 1770 por ordem do Marquês do Lavradio. Em 1918 terminaram as obras iniciadas pelo Marechal Hermes da Fonseca, que construiu uma fortificação mais moderna, localizada na parte mais elevada do terreno. Foi denominado Forte Barão do Rio Branco em 1938. Seu acervo inclui quatro canhões de 150mm e sua área construída é de 5.850 m2. Seu principal atrativo, no entanto, é a vista incomum do Rio de Janeiro e da Baía de Guanabara.