El palacio está situado en la parte oriental del Parque de Pena, que uno tiene que atravesar para llegar a la empinada rampa construida por el Barón de Eschwege que da acceso al edificio con forma de castillo. El palacio en sí está compuesto por dos alas: el antiguo monasterio manuelino de la Orden de San Jerónimo y el ala construida en el siglo XIX por el rey Fernando II. Estas alas están rodeadas por una tercera estructura arquitectónica que es una versión fantástica de un castillo imaginario, cuyas paredes se pueden caminar y que comprende almenas, atalayas, un túnel de entrada e incluso un puente levadizo. En 1838, el rey Fernando II adquirió el antiguo monasterio jerónimo de Nuestra Señora de Peña, que fue construido por el rey Manuel I en 1511 en la cima de la colina sobre Sintra y había quedado desocupado desde 1834 cuando las órdenes religiosas fueron suprimidas en Portugal. El monasterio consistió en el claustro y sus dependencias, la capilla, la sacristía y el campanario, que hoy forman la sección norte del Palacio de Pena, o el Palacio Viejo como se le conoce. El rey Fernando comenzó reparando el antiguo monasterio, que según las fuentes históricas de la época estaba en muy mal estado. Reconstruyó todo el piso superior, reemplazando las catorce celdas utilizadas por los monjes con habitaciones de mayor tamaño y cubriéndolas con los techos abovedados que todavía se pueden ver hoy en día. En aproximadamente 1843, el rey decidió agrandar el palacio construyendo una nueva ala (el Palacio Nuevo) con habitaciones aún más grandes (el Gran Salón es un buen ejemplo de esto), terminando en una torre circular junto a las nuevas cocinas. El trabajo de construcción fue dirigido por el barón de Eschwege. Las obras de reparación de 1994 restauraron los colores originales del exterior del Palacio: rosa para el antiguo monasterio y ocre para el Palacio Nuevo. Al transformar un antiguo monasterio en una residencia tipo castillo, el rey Ferdinand demostró que estaba fuertemente influenciado por el romanticismo alemán, y que probablemente encontró su inspiración en los castillos de Stolzenfels y Rheinstein en las orillas del Rin, así como en el Palacio de Babelsberg en Potsdam. Estas obras de construcción en el Palacio de Pena finalizaron a mediados de la década de 1860, aunque también se llevaron a cabo más trabajos en fechas posteriores para la decoración de los interiores. El rey Fernando también ordenó plantar el Parque de Pena en las áreas circundantes del Palacio al estilo de los jardines románticos de la época, con senderos sinuosos, pabellones y bancos de piedra colocados en diferentes puntos a lo largo de sus rutas, así como árboles y otras plantas originarios de las cuatro esquinas de la tierra. De esta manera, el rey aprovechó el clima templado y húmedo de las colinas de Sintra para crear un parque completamente nuevo y exótico con más de quinientas especies diferentes de árboles. El Palacio de Peña fue designado Monumento Nacional en 1910 y forma parte del Paisaje Cultural de Sintra, que ha sido clasificado por la UNESCO como Patrimonio de la Humanidad desde 1995.