Erbaut von Ritter Siegmund-Friedrich von Freyberg-Eisenberg im Jahr 1468 ist das Schloss, das Älteste im Ostallgäu, und seit 1803 in Privatbesitz (erster Besitzer war Postexpediteur Kolb).

 

Unter dem Freiherrn von Punikau (1830 – 1840) wurde das Schloss um den Ostflügel erweitert und erhält seine neugotische Fassade.

 

Weitere Besitzer waren u.a. Paul Segisser, Kunstmaler aus Karlsruhe (Besitzer von 1910 – 1933, nach ihm wurde das Segisser-Zimmer benannt), Georg Halbich, Bildhauer aus München (ab 1937).

 

1999 übernahm die Kultur-Stiftung Füssen e.V. das Schloss zu Hopferau, um den langfristigen Erhalt des Schlosses zu sichern. In 2000 werden durch die Kultur-Stiftung umfangreiche Bau- und Sanierungsmassnahmen in Auftrag gegeben und in 2001 vollendet.