Das Kloster selbst wurde in der ersten Hälfte des 9. Jahrhunderts durch die Bischöfe von Augsburg gegründet und nach der Regel des Heiligen Benedikt organisiert.
Seine heutige Gestalt erhielt der Klosterkomplex durch die Errichtung eines im Stile des Barock gehaltenen Neubaus zwischen 1696 und 1726. Leitender Architekt war der selbst aus dem Allgäu stammende Johann Jakob Herkomer. Die ursprüngliche Klosteranlage wurde in einen symmetrisch aufgebauten Komplex umgestaltet; die ebenfalls barocke Klosterkirche sollte nicht zuletzt zu einem Mittelpunkt der süddeutschen Verehrung des Heiligen Magnus werden und dokumentiert daher auch dessen Hagiographie in zahlreichen Fresken.
Das repräsentative Zentrum der Klosteranlage bildet der von Andrea Maini konzipierte, zwischen 1721 und 1723 fertiggestellte Kaiser- oder Fürstensaal, der mit seinem Bildprogramm und einem eindrucksvollen Säulengang auch den politischen Anspruch der Benediktinerabtei herausstreichen sollte.
Die Malerarbeiten übernahm Franz Georg Hermann, der auch zahlreiche Gemälde für die Kemptener Residenz gestaltete. Weitere bedeutende Räumlichkeiten an der Südseite der Anlage stellen die oval angelegte Klosterbibliothek sowie das darunter angeordnete Refektorium dar. Besondere Originalität gewinnen diese Räumlichkeiten dadurch, dass der Speisesaal durch eine Öffnung in der Mitte der Bibliothek von oben einsehbar war, eine Öffnung, die im Winter geschlossen werden konnte.
Ungeachtet der prägenden religiösen und wirtschaftlichen Bedeutung des Klosters wurde es im Jahr 1803 auf Geheiß der Fürsten von Oettingen-Wallerstein säkularisiert. Der wertvolle Bestand der Bibliothek ging an die Oettingen-Wallersteinschen Bibliotheken über. Die Klosterkirche ging später an die Füssener Stadtpfarrei über. Im ehemaligen Klostergebäude befinden sich heute u. a. das Rathaus der Stadt und ein Museum, in dem sich auch der Kaisersaal besichtigen lässt.