Filho da portuguesa Maria Flávia de Sá Magalhães e de Friedrich Ludwig Wilhelm Varnhagen, um engenheiro militar alemão contratado pela Coroa para construir os altos fornos da Real Fábrica de Ferro de Ipanema, na região de Sorocaba, na então Capitania de São Paulo, estudou no Real Colégio Militar da Luz, em Lisboa, e iniciou a carreira militar à época das Guerras Liberais, como voluntário nas tropas de D. Pedro IV de Portugal que lutavam contra D. Miguel I de Portugal.

Escreveu Notícia do Brasil, seu primeiro trabalho de história, entre 1835 e 1838. Suas pesquisas na matéria levam-no a localizar o túmulo de Pedro Álvares Cabral na Igreja da Graça, em Santarém. Foi admitido como sócio-correspondente na Academia de Ciências de Lisboa. Formou-se como engenheiro militar em 1839, na Real Academia de Fortificação, Artilharia e Desenho.

Retornou ao Brasil em 1840, entrando para o Instituto Histórico e Geográfico Brasileiro em 1841, exercendo o cargo de primeiro-secretário. Em 1844 obteve a nacionalidade brasileira, podendo ser admitido na carreira diplomática. Serviu na legação de Lisboa e na de Madrid, obtendo reconhecimento como historiador com a publicação da História Geral do Brasil em dois volumes (1854-1857). Foi destacado para o Paraguai (1858), tendo servido ainda na Venezuela, em Nova Granada (atual Colômbia), no Equador, no Chile, no Peru e nos Países Baixos.

Seu amor pela terra natal levou-o a registrar, em baixo do nome da obra que o imortalizou, a História do Brasil, a expressão - natural de Sorocaba. Nos altos do Morro de Ipanema há um monumento a Varnhagen, que visitado pela Família Real em 11 de novembro de 1884. Nesse monumento há a inscrição: A memoria de Varnhagen Visconde de Porto Seguro nascido na terra fecunda descoberta por Colombo. Iniciado por seu pai nas couzas grandes e uteis, estremeceo sua patria escreveo-lhe a historia. Sua alma immortal reune aqui todas as suas recordações.

Aproveitou o seu contato com o exterior para coletar documentos sobre o Brasil em bibliotecas e arquivos. Recebeu em 1872 o título de Barão de Porto Seguro, sendo elevado a visconde 2 anos mais tarde. Encerrou a sua carreira como representante diplomático em Viena, na Áustria, onde faleceu em 1878, aos 62 anos.

Casado com a chilena Carmen Ovalle desde 1864, foi sepultado em Santiago do Chile. Seus restos mortais deveriam ter sido depositados em um monumento na região Sorocaba, mais precisamente no morro de Araçoiaba da Serra, local onde ele nasceu na Real Fábrica de Ferro - Vila São João de Ypanema, porém o monumento erguido em sua homenagem no alto daquele morro ainda não recebeu seus restos mortais. Os restos mortais estão no monumento a Varnhagen, na Avenida General Osório, em Sorocaba. Na placa deste monumento constam os dizeres: Estão aqui depositados os restos mortais de Francisco Adolfo de Varnhagen, Visconde de Porto Seguro. Paulista de Sorocaba, o Pai da História do Brasil *17-2-1816 † 29-6-1878. Transladados de Santiago, chile, no centenário do falecimento. Prefeito Municipal Theodoro Mendes. Sorocaba, 29-6-1978. Parte de sua biblioteca foi adquirida pelo bibliófilo José Mindlin, que era membro da Academia Brasileira de Letras.