Construído entre 1776 e 1779, por ordem do Vice-Rei, Marquês do Lavradio, o Forte do Vigia cruzava fogos com o Forte de Copacabana, e terminava sua linha de defesa com um portão de pedra até hoje existente na Ladeira do Leme. O Alferes Joaquim José da Silva Xavier, o Tiradentes, ali serviu em 1789, como integrante da Cia. de Dragões de Minas, que então guarnecia a fortificação. Reformado pelo Capitão Augusto Tasso Fragoso em 1895, passou a ter o nome de Forte do Leme, recebendo, a partir de 1918, oito obuseiros gigantes Krupp (280 mm), de origem alemã. Em 1935 recebeu o nome de Duque de Caxias por decreto de Getúlio Vargas. Desativada a fortificação em 1965, recebeu o Centro de Estudos de Pessoal do exército. Aberto à visitação pública aos sábados e domingos.