El año 578 d.C., el rey Leovigildo tomando como referencia al Imperio Bizantino fundó, a la manera de sus emperadores, una ciudad a la que llamó Recópolis, en honor a su hijo, el futuro rey Recaredo.
La investigación arqueológica muestra la existencia de dos fases en la vida de
esta ciudad. La primera de ellas, se inscribió dentro de un fenómeno de revitalización urbana que afectó a algunas de las ciudades más importantes de la época.
Esta fase, fechada entre la segunda mitad del siglo VI y primeras décadas del siglo VII, está relacionada con el fortalecimiento de las estructuras del Estado. Lasegunda de éstas, que se desarrolla a partir de mediados del siglo VII, correspondería a una sensible disminución de la actividad urbanística como consecuencia de la crisis del Estado toledano.
Con la llegada de los árabes el año 711 se inició a lo largo de todo un siglo un
proceso de cambio que desembocaría en un nuevo modelo de sociedad, el
andalusí.
En esta época, la ciudad de Recópolis, ahora llamada Madinat Raqqubal, mantuvo, a lo largo del siglo VIII, sin la misma estructura que en el último periodo visigodo. Será en el paso entre los siglos VIII al IX, cuando Recópolis pierda la categoría de centro de poder como consecuencia de los conflictos yluchas, en la región, entre beréberes y población local contra los partidarios delos emires cordobeses que intentaban consolidar un nuevo poder estatal.
En las primeras décadas del siglo IX, Recópolis fue abandonada y utilizada como cantera destinada a proporcionar los materiales para fundar una nueva ciudad, Zorita. Esta nueva fundación islámica se convirtió, ya en época del Califato de Córdoba, en una de las ciudades más importantes del centro peninsular, punto de control del paso del río Tajo en las vías que se dirigían al Este peninsular, y cabeza de una kura o provincia de al-Andalus.
Zorita y su territorio pasaron a manos cristianas el año 1085, cuando se pactó la rendición del reino taifa de Toledo al reino de Castilla. Para sustituir a la población local musulmana, que se vio obligada a emigrar, campesinos procedentes de los reinos cristianos fundaron nuevas aldeas.
Una de ellas se asentó en 1156 en el olivar de Raccopal, la antigua Recópolis, en virtud de una concesión del rey Alfonso VIII de Castilla a campesinos mozárabes procedentes de Aragón.
Sobre las ruinas de la iglesia visigoda se edificó un templo románico con su cementerio, y sobre la parte de los restos del antiguo palacio visigodo, más próximos a la iglesia, se levantaron varias viviendas para albergar al nuevo grupo campesino.
En el siglo XIV la aldea había sido abandonada y su templo que se encontraba en ruinas, fue posteriormente reconstruido de nuevo, pero ya con función de ermita, bajo la advocación de la Virgen de la Oliva donde los pueblos de la zona
celebraron romerías hasta bien entrado el siglo XVI.