Foi construído nos finais do século XIX, e está localizado numa área residencial no Alto de Santo Amaro por José Luís Constantino Dias, um emigrante português que fez fortuna como fazendeiro na ex-Colônia de São Tomé e Príncipe, tendo recebido de D. Carlos (1889-1908) o título de marquês de Valle Flor.
Para esse fim, adquiriu terrenos em 1890, período em que a cidade expandia os seus limites além do centro histórico. O Palácio de Valle Flôr foi mandado construir ao arquitecto italiano Nicola Bigaglia que esteve ligado ao projecto entre 1905 e 1906, no entanto a partir de 1910 é o arquitecto José Ferreira da Costa quem continua a acompanhar todos os trabalhos, destacando-se as novas alas, e as Cocheiras.
Sabe-se que os desenhos de alguns detalhes do palácio são de autoria arq. Miguel Ventura Terra.
O palácio foi adquirido em 1992 pelo Grupo Pestana, passando a partir de então por obras de restauro e adaptação, segundo projeto de Manuel Tainha, que o requalificaram como unidade hoteleira.
Duas novas alas foram erguidas para abrigar os quartos. Quatro suites reais estão situadas nas dependências do antigo palácio, com decoração de época, de influência francesa, revestimentos de mármore, afrescos nos tetos, paredes e janelas com grandes vitrais.
Na parte externa, além dos jardins e da piscina, destaca-se a chamada Casa do Lago, um pavilhão em estilo oriental, também do final do século XIX.
Foi classificado como Monumento Nacional em 1997.