Der Klostergarten von St. Stephan ist
eine der
ältesten Gartenanlagen Augsburgs:

Zur Römerzeit führte noch eine breite Straße durch dieses Areal, umsäumt von vornehmen Bauten (bedeutende Fundament- und Mosaikfunde schon ab 1 m Tiefe); seit dem frühen Mittelalter ist das etwa ein Hektar große Grundstück als Garten vermerkt. Seit der Barockzeit findet sich auf detaillierten Plänen in der Mitte des Gartens ein Pavillon eingezeichnet. Er steht heute noch, wohl an der Stelle einer ehemaligen römischen Straßenkreuzung.   

Aus dem 16. Jh. stammt das gelbe, zweigeschossige Renaissance-Haus an der Südostecke des Gartens (Äußeres Pfaffengässchen 23), das u.a. dem Augsburger Stadtpfleger Marcus Welser (1558 – 1614) gehört hat. 1632 erwarb der Opticus und Brillenmacher Johann Wiesel das Haus und hatte hier seine Glaswerkstätten, deren Erzeugnisse (Mikroskope, Brillen, Fernrohre und andere optische Geräte) in allen Ländern Europas ihre Liebhaber fanden. Gegenwärtig wird das Gebäude von der Stadt Augsburg zu einem Fugger-und-Welser-Museum umgebaut.
Nachdem das alte Karmelitenkloster bei St. Anna in der Reformationszeit aufgelöst worden war, ging 1638 das gesamte Gartengrundstück in das Eigentum des hier neu gegründeten Karmelitenklosters über. Dieses wurde 1803 im Zuge der Säkularisation aufgehoben.

Auf  Geheiß König Ludwigs I. von Bayern bekam die von ihm 1835 gegründete Benediktinerabtei St. Stephan den Garten zur Nutznießung für Kloster und Internat zugesprochen.

Eigentümer ist seither der Katholische Studienfonds (zu dem auch der Kleine Goldene Saal gehört), verwaltet vom Stiftungsamt der Stadt Augsburg.