Záhy po vzniku augustiniánského řádu roku 1256 objevili se i v českých zemích augustiniáni-poustevníci, aby se věnovali duchovní správě, misijní a školské činnosti, v neposlední řadě také vědeckému studiu. Svoje poslání naplnili bohatým obsahem i v Brně. Měli tam svůj dům snad již roku 1346, zakládací listinu nového kláštera jim však vystavil moravský markrabě Jan Jindřich Lucemburský až roku 1350. Římský papež roku 1356 fundaci potvrdil a následně rovněž olomoucký biskup souhlasil se stavbou „na místě zvoleném markrabětem". Protože Brno představovalo tehdy již organizované město zaplněné měšťanskými domy, chrámy a kláštery, nezbývalo než využít pro nový klášter místo „před hradbami" v blízkosti Běhounské (správně Rýnské) brány. Byla to část dnešního Moravského náměstí u starobylé Běhounské ulice.
Bohatou přízní svých zakladatelů a příznivců získali augustiniáni rychle značný pozemkový majetek, jehož výnos spolu s odpustky a zvláštními dotacemi umožnil poměrně rychle uskutečnit velkorysé dílo. Podle zakládací listiny neměl mít konvent nikdy méně než čtyřicet dva členů a kostel se měl stát pohřebním místem moravské větve lucemburského rodu. Svůj příznivý vztah k bratrovu počinu projevil štědrou finanční podporou český král a římský císař Karel IV. i syn Jana Jindřicha markrabě Jošt. O mimořádném tempu stavebních prací svědčí zpráva o svěcení chrámu P. Marie a sv. Tomáše z roku 1356 (zřejmě jeho východní části, tedy kněžiště s věžemi po jeho boku). U příležitosti vysvěcení kostela a augustiniánského kláštera biskupem Janem VIII. Očkem z Vlašimi věnoval roku 1356 císař Karel IV. svému bratrovi pro klášter obraz Madony „od svatého Lukáše malovaný“. Pro obraz byla zbudována zvláštní mariánská kaple a úcta k obrazu se začala rychle šířit.
Roku 1359 již putovali do chrámu k mariánskému obrazu poutníci a roku 1366 byla před hlavním oltářem pohřbena třetí manželka Jana Jindřicha Markéta Rakouská. Roku 1375 našel po jejím boku místo posledního odpočinku sám markrabě a roku 1411 jeho syn z druhého manželství Jošt.
Roku 1400 odstoupilo město Brno klášteru pozemky na rozšíření konventních budov jižně od kostela, tedy směrem k hradbám.
Za husitského přepadu roku 1428 byl klášter údajně „úplně zničen", neboť stál na nechráněném místě. Pro jeho příští zabezpečení dovolilo Brno roku 1486 obklopit jej hradbami s věžemi tak, aby se celé území připojilo k městskému opevnění. Počátkem čtyřicátých let 17. století nahradila středověké hradební zdi soustava moderních bastionů, ani ta však neuchránila klášter před ničivými údery švédských vojsk, obléhajících v létě 1645 po čtyři měsíce bezúspěšně město. Kostel utrpěl tak rozsáhlé škody, že i po provizorních opravách zůstalo z původní stavby jen kněžiště, mše byly slouženy na oltáři v boční lodi, z hlavní lodi zbyly jen obvodové zdi a byla proměněna v květinovou zahradu.
V letech 1665-1675 vybudoval na místě někdejšího trojlodí Jan Křtitel Erna nynější chrám.
Rytina augustiniánského kláštera s kostelem sv. Tomáše od Q. Sautera, 1740
Příznivá situace v zemi spolu s prozíravým hospodařením umožnila v následujícím období další rozvoj kláštera. Jeho nesporný vzestup předznamenalo roku 1721 papežovo svolení k trvalému užívání pontifikálií; od roku 1745 zasedal převor kláštera jakožto významný představitel kléru na zemských sněmech moravských stavů. Vynikající organizátor převor Ondřej Zirkl (1722-1736) zahájil roku 1732 podle projektu Mořice Grimma výstavbu nového kláštera, jehož budovy vytvořily během následujících dvaceti let spolu s kostelem pozoruhodný architektonický soubor, dosud obohacující historické centrum Brna.
Jako projev úcty k zázračnému obrazu „Černé madony", kterému poutníci vděčili za stovky zázračných uzdravení a celé město za ochranu před morovými ranami i před přesilou švédských vojáků, dosáhli augustiniáni po náročném jednání s Vatikánem, zahájeném roku 1727, povolení k uspořádání slavnosti korunování uctívaného obrazu. Ještě dříve než převor O. Zirkl získal v Římě konečný souhlas ke korunovaci, objednali augustiniáni nový stříbrný oltář, do nějž měl být deskový obraz „malovaný sv. Lukášem" nově zasazen. Ten vytvořil v Augsburgu stříbrník Johann Georg Herkomer a jeho bratr sochař Johann Jakob Herkomer mladší. G. Herkommer vytvořil pro korunovaci nejen oltář, nazývaný pak „stříbrný", ale i oltářní svícny, soubor bohoslužebného nádobí a pontifikální berlu. Pořízena byla také bohoslužebná roucha. Klášterní historik a příležitostný básník podpřevor Hyacint Čupa (Czuppa) koncipoval program slavnosti a ideovou náplň výzdoby; ta měla zkrášlit nejen okolí kláštera, kde byly vztyčeny dvě slavobrány, ale rovněž město. To mělo být nejen slavnostně osvětleno, ale pro proponovaný průvod obrazu ulicemi měla být před Zemským domem na nynějším Dominikánském náměstí zbudována ještě další slavobrána (všechny navrhl František Řehoř Ignác Eckstein). Při ceremoniálu papežské korunovace dne 10. května 1736 obraz zlatými korunkami slavnostně korunoval olomoucký biskup a kardinál Wolfgang Hannibal von Schrattenbach, jednalo se o třetí mariánskou ikonu, korunovanou v českých zemích ((první korunovace se dostalo dřevěné sošce Madony na Svaté Hoře u Příbrami v červnu roku 1732, jako druhý byl korunován kamenný reliéf madony na Svatém Kopečku u Olomouce v září 1732). V neděli 13. května 1736 pak uspořádal u slavobrány brněnský magistrát ohňostroj.
Rytina stříbrného oltáře od F. A. Mayera s obrazem svatotomské Madony
Vydána byla řada příležitostných tisků reprodukujících korunovaný obraz, a navíc dal klášter pořídit i jeho malované kopie; ty si poutníci odnášeli do svých venkovských kostelů. Zmíněný H. Čupa ony tisky pak zařadil do pamětního sborníku nazvaného Conchylium Marianum.
Zasloužilý převor O. Zirkl sice již 13. listopadu 1736 zemřel, po krátkém působení Kristiána Obsolky byl však do čela kláštera zvolen neméně zdatný Matouš Pertscher (1740-1777). Za něho byly dostavěny klášterní budovy, na vnějšku vyzdobeny sochami a uvnitř nástěnnými malbami, vybaveny užitkovým i reprezentačním mobiliářem. Současně klášterní dílna, vedená uměleckým truhlářem bratrem laikem Bernardem Stettnerem, zhotovila roku 1747 pro knihovní sál nádherné intarzované regály.
Roku 1752 byl klášter povýšen na opatství, jedná se o jediné augustiniánské opatství na světe.
Roku 1783 však byla komunita augustiniánů přinucena panovníkem Josefem II. opustit svou zánovní budovu u sv. Tomáše (klášterní budova se stala sídlem Moravskoslezského zemského gubernia a později budovou zemského místodržitelství.) a přesídlit do opuštěných budov cisterciáckého kláštera na Starém Brně.
