La chiesa, come rivelano le colonne della sua cripta, è una delle pievi più antiche della diocesi bolognese. Dopo un primitivo romitaggio, furono i Canonici Regolari di San Frediano di Lucca, a metà del secolo XII, a porre mano alla ricostruzione del complesso nelle odierne forme romaniche.
Superato un momento di decadenza, Santa Maria tornò fiorente nel 1456 con Canonici Lateranensi, che attuarono vari restauri o ampliamenti.
Nel 1628 papa Gregorio XV concesse alla comunità il titolo abbaziale. Per molti secoli la pieve e i canonici furono il punto di riferimento religioso, amministrativo ed economico del territorio dell'odierno parco, del quale arrivarono a possedere buona parte dei poderi, poi smembrati e venduti in epoca napoleonica.
La chiesa e il convento furono restaurati tra il 1924 e il 1934 dal bolognese Giuseppe Rivani; ulteriori interventi sono stati compiuti di recente.
Nell'isolamento di Monteveglio don Giuseppe Dossetti, ritiratosi dalla vita politica, fondò nel 1961 la sua comunità, che ha trovato sede definitiva a Monte Sole, riportando per la prima volta i monaci nell'abbazia dalla fine del '700. Oggi l'abbazia ospita una comunità francescana.