Archäologisch gesichert befand sich bereits in spätrömischer Kaiserzeit an selber Stelle ein Kastell als mutmaßlicher Sitz einer Nachschubeinheit der III. Italischen Legion. Dessen überlieferter Name „Foetibus“ sollte über Umwege zum heutigen Ortsnamen Füssen werden.
Der heutige Stadtbereich Füssens fungierte hierbei seit ca. 50 n. Chr. vermutlich als Raststation entlang der von Norditalien nach Augsburg verlaufenden Römerstrasse Via Claudia Augusta. 1291 begann der bayerische Herzog Ludwig der Strenge unerlaubt mit dem Bau des Schlosses in seiner heutigen Gestalt.
Unmittelbar vorausgegangen war zwischen 1286 und 1294 die Verleihung des Stadtrechts an Füssen. Der rivalisierende Augsburger Bischof erreichte die Einstellung der Bauarbeiten, erwarb den Schlossberg und machte die nicht vollendete Burg zum Sitz eines Pflegamtes. Bischof Friedrich II. von Zollern schließlich initiierte eine weitreichende Umgestaltung des bisherigen Baubestandes zu seiner heutigen Gestalt als eine der größten mittelalterlichen Burganlagen in Schwaben. Gleichlautend wurde das Schloss damit zur prunkvollen Sommerresidenz der Augsburger Fürstbischöfe.
Die Säkularisation 1803 brachte auch das Hohe Schloss Füssen in den Besitz des neu geschaffenen Königreichs Bayern. Das jetzige Schlossareal erstreckt sich insgesamt auf einem lang gestreckt trapezförmigen Grundriss, das Schloss selbst zeigt sich als Dreiflügelanalage mit Zuspitzung nach Osten hin.
Neben umlaufenden Wehrgängen und Türmen betont südlich vorgelagert ein Zwinger eindrucksvoll den wehrhaften Charakter der charakteristisch burgartigen Schlossanlage. Gleichsam als Bruder grüßt dabei aus der Ferne die am entgegengesetzten Ende desselben Höhenzuges gelegene Burg Falkenstein bei Pfronten. Ein Aufstieg, der sich lohnt: An der Ostbegrenzung der Schlossanlage verheißt der besteigbare Torturm von seinem Türmerzimmer einen großartigen Ausblick über Stadt und Füssener Land. Die im Südflügel der weitläufigen Schlossanlage gelegene St.-Veit-Kapelle erwartet den Besucher als vermutlich höchstgelegene Schlosskapelle Deutschlands. Im äußeren Erscheinungsbild seit dem Spätmittelalter weitgehend unverändert, mussten die Innenräume des Pflegamtschlosses zwischenzeitlich einige Umgestaltungen über sich ergehen lassen, so insbesondere 1680 unter Fürstbischof Johann Christoph von Freyberg.
Highlight der künstlerischen Ausstattung sind die hervorragend erhaltenenen illusionistischen Architekturmalereien im Hof der Schlossanlage. Prunkstück des Museumsbereichs ist der Große Festsaal „Rittersaal“ mit seiner wertvoll geschnitzten Kassettendecke aus dem 16. Jahrhundert.
Zwischenzeitlich als Kriegslazarett und Amtsgericht verwendet, erfährt das Hohe Schloss heute eine Doppelnutzung sowohl als Finzanzamt wie auch Museum. Solchermaßen beherbergt es über 6 Räume im 2. Obergeschoss die Städtische Gemäldegalerie sowie eine Filialgalerie der Bayerischen Staatsgemäldesammlungen mit regionaler und bayerischer Kunst des 15. bis 19. Jahrhunderts. Während der Jahre 1957/58 und 1966/67 erfuhr die Burganlage umfangreiche Renovierungen und Sanierungsmaßnahmen. Innerhalb der sehenswerten Burgenregion Allgäu nimmt das Hohe Schloss Füssen als einer der bedeutendsten Profanbauten der deutschen Spätgotik sowie kraft einer der größten Burganlagen Schwabens eine absolute Sonderstellung ein.