La construcción que hoy conocemos con el nombre de La Casa Baja está situada al sur de El Maíllo y su primera piedra se colocó el 18 de agosto de 1516. Acontecimiento lleno de esperanza y entusiasmo. Presidieron el Sacerdote y Concejo del Maíllo, el P. Prior de los dominicos de Plasencia. Constaba la Comunidad de 22 religiosos. Era el prior del convento P. Francisco de Salamanca. 
Bajaba la Comunidad a esta casa el día de los Difuntos. Un pequeño grupo de religiosos permanecía en el Risco para atender a los peregrinos y al culto del Santuario. La Comunidad volvía a la Peña el miércoles infraoctava de la Ascensión para prepararse a la fiesta de Pentecostés, una de las cuatro fiestas más importantes en la Peña. 

Era La Casa Baja convento de apoyo necesario para subsistir en el Risco. Lugar de estudio y despensa de la Peña. Tenía un pequeño bosque de castaños con dos fuentes, dos estanques y una huerta. 
Un informe del Concejo del Maíllo del siglo XVIII nos revela que a mediados de este siglo había en la Comunidad 52 religiosos y dieciocho "comensales más", para la precisa asistencia de las dos casas. Que los religiosos hacían un gran bien en toda la comarca: "predican y confiesan en los pueblos, atienden en la Hospedería de la Peña -sin interés alguno, como es público y notorio- a los peregrinos; reparan cada año el Santuario de arriba y el camino de los destrozos que causan la nieve, las heladas y las aguas torrenciales. A diario atienden al socorro de los pobres de la zona". La Casa Baja terminó por ser uno de los conventos más sólidos y hermosos que poseyeron los dominicos en España. 
En el siglo XIX la guerra de la Independencia dejó todos los edificios con huellas del saqueo y la destrucción.