A kolostort 1360 körül Kálmán győri püspök, aki a város földesura volt az itt gondozóként tevékenykedő Szienai János itáliai minorita szerzetes indítványára az ispotályból alakíttatta át és megalapította a ferences rendi konventet. A ferences atyák alig 200 évig működhettek a városban. 1541 után a kolostor a terjedő reformáció áldozata lett, a ferenceseket elűzték és a mintegy 80 évi elhanyagoltság miatt az épületek nagy károkat szenvedtek. A kolostor 1557-ben már bizonyosan üres volt, mert ekkor Pál győri püspök az egykoron a kolostorhoz tartozó rétet Ambrus nevű testvérének adta, hogy annak fejében a város szegényeit támogassa. A szerzeteseket csak 1630-ban gróf Sennyei István győri püspök telepítette vissza. A súlyos állapotban levő épületeket a rend tagjai 1633 és 1634 között a püspökség, gróf Batthyány József és a város polgárainak adományaiból újították fel. Az elkészült épületegyüttest 1634. augusztus 2-án Sennyei István püspök szentelte fel Árpád-házi Szent Erzsébet tiszteletére. Ekkor készült el a régi főoltár, valamint a Szűz Mária és Szent Ferenc oltárok. A ferencesek visszatérése újra fellendítette a város egyházi és kulturális életét. A kuruc háborúk során a hadak a városban nagyobb szálláshelyet nem találva többször űzték ki a szerzeteseket hajlékukból és súlyos károkat okoztak az épületekben és berendezési tárgyakban egyaránt. Az 1716-os tűzvész a templomot még elkerülte, 1723-ban a városban pusztító tűzvészben azonban a templom tornya leégett, a templom és a kolostor viszont megmenekült. A templom harangja megolvadt és a tüzes harangnyelv átszakítva a tetőt a padláson állapodott meg. 1730-ban a kolostorhoz új, déli szárnyat építettek. A szerzetesek 1772-től 1796-ig a város gimnáziumában is tanítottak, ők látták el a hittanári feladatokat a város iskoláiban, valamint a városi börtön egyházi szolgálatát is. A város első óvodáját P. Csepy Dömötör ferences szerzetes alapította. A kolostor a 20. század első felében élte fénykorát. 1926-ban a Felvidékről ide helyezték át a Mariana rendtartomány hittudományi főiskoláját, mely egészen 1950-ig működött. 1927-ben az épületet jelentősen átalakították, 1936-ban pedig a keleti szárnyra építettek emeletet. A II. világháború alatt közel félezer ember talált menedéket itt a harcok és bombázások elől. Az 1945. március 4-i bombázás során a templom színes üvegablakai betörtek. 1950. június 11-én éjszaka a szerzeteseket Gyöngyösre internálták és csak 1990-ben a rendszerváltás után térhettek vissza. 1990 és 1993 között itt működött a Szűz Mária ferences rendtartomány központja. A kolostorban ma mindössze öt szerzetes él.