Los Albert i Terradas, una importante familia ampurdanesa procedente de Vilabertran, encargaron la construcción de la casa solariega en 1767. El elegido para realizar la obra fue Pedro Martín Zermeño, ingeniero militar distinguido con honores por la Real Academia de Bellas Artes de San Fernando, que, durante su estancia en Figueres, proyectó también el castillo de San Fernando. De aquella mansión todavía se conservan el portal de entrada, una parte de la fachada, un triple espacio interior y la escalinata de acceso al primer piso.