Mit dem Bau der Sommerresidenz Herzog Ernst Augusts entstand 1724 bis 1732 eine prächtige barocke Gartenanlage, in die später die Orangerie eingefügt wurde. Seit 1811 wurde diese Anlage in einen Landschaftspark klassisch-romantischer Prägung umgestaltet. Neben zahlreichen Architekturen und »Schmuckplätzen« wurden in dieser Zeit auch ein Russischer Garten, ein kleines Heckentheater und ein Irrgarten angelegt.
Heute wird die Orangerie, wenn in den Sommermonaten die Pflanzen aus den Glashäusern nach draußen versetzt werden, kulturell genutzt. Das Kunstfest wird hier offene Konzerte veranstalten.
Das Zentrum des Belvedere, das barocke Schloss, ist Museum (Kunsthandwerk aus dem 17. bis 19. Jahrhundert), die ehemaligen Kavaliershäuser und Nebengebäude dagegen werden seit 1958 als eigene Musikschule geführt. Auf dem gleichen Gelände entstand 1996 das neue Musikgymnasium mit einem minimalistisch-strengen Konzertsaal für etwa 300 Besucher. Dieser Saal in der Form eines antiken Stadions öffnet auf der Schmalseite den Blick auf den Park. Das dominante Material Holz im Zusammenhang mit der geschlossenen Konzeption des Raumes sorgt für eine hervorragende Akustik, von der vor allem Kammermusik und Sinfoniekonzerte profitieren.
Für das Kunstfest ist der Konzertsaal des Musikgymnasiums eine zentrale Spielstätte der klassischen Musik.
