Vis á vis von Schlosskirche, Semperoper und Sächsischem Landtag steht ein Museumsbau von stattlicher Dimension. August der Starke wollte seinerzeit seine kostbare Porzellansammlung darin würdevoll deponieren. Später fand die Sächsische Landesbibliothek mit einem eigenen Buchmuseum darin ihren Platz. Im Krieg bis auf die Grundmauern niedergebrannt, wurde das Japanische Palais in den 1950er Jahren wieder rekonstruiert. Das Landesamt für Archäologie, das Museum für Völkerkunde Dresden und die Staatlichen Ethnographischen Sammlungen Sachsen waren in den folgenden Jahrzehnten die Nutzer. Seit dem Krieg ohne eigenes Museumsgebäude können heute auch die Senckenberg Naturhistorischen Sammlungen Dresden im Japanischen Palais wechselnde Ausstellungen präsentieren.