Die Bevölkerung Kaldauens wuchs in den Jahren zwischen 1945 und 1963 stark an und die bis dahin als Pfarrkirche genutzte Kirche St. Antonius im nahegelegenen Ortsteil Seligenthal wurde für die wachsende Gemeinde zu klein. Daher wurde 1958/1959 eine neue Kirche zu Kaldauen gebaut und durch Weihbischof Cleven am 7. Mai 1959 (Christi Himmelfahrt) geweiht.
Ursprünglich gehörte die Liebfrauenkirche zur Gemeinde Seligenthal, im März 1960 wurde dann aber der Pfarrsitz durch Kardinal Frings (Bild rechts) von Seligenthal nach Kaldauen verlegt.
Im Innenraum fällt das große Apsisfenster auf, ferner das dem Coesfelder Gabelkreuz nachempfundene große Altarkreuz und die in Oberammergau geschnitzte Darstellung des Hl. Josef. Die Kirche erhielt am 5. Mai 1995 eine große Weyland-Orgel, welche die bisherige elektrische Orgel ersetzte und nun einen besonderen Blickfang auf der Empore darstellt.