Táto významná architektonická pamiatka, ako väčšina historických objektov podobného druhu, prešla nejednou úpravou a prestavbou. Jej pôvodný vzhľad možno už len predpokladať. Výstavba najstarších častí spadá do rokov 1626-1631, pričom prvé vysvätenie kostola vykonal ostrihomský arcibiskup kardinál Peter Pázmány 24. mája 1631. V porovnaní s terajšou rozlohou stavby bol to len nízky kostolík so šindľovou strechou, ku ktorému bol pristavaný menší kláštor. Počas osmanskej nadvlády kláštor slúžil na ubytovanie osmanských dôstojníkov. Kostol slúžil ako sklad potravín a streliva, namiesto veže bol minaret. Až po r. 1685, po oslobodení mesta vojskami Karola Lotrinského, kostol opätovne vysvätil Peter Sorman, generál františkánskeho rádu z Milána.