Fransmannen Augustin Lancelot de Quatrebarbes öppnade den första Alsterpaviljongen den 20 augusti 1799 och är en traditionsrik byggnad i Hamburg, där ett café låg framför den nuvarande restaurangen. Alsterpavillion ligger på Jungfernstieg, en strandpromenad längs Binnenalster. Där, på 1800-talet, blev Jungfernstieg ett av Harburgs mest populära resmål och ytterligare en byggnad uppfördes mellan 1835 och 1841.
Swingkonserter hölls i Alsterpaviljongen under det tredje riket, även om denna typ av musik förkastades av nationalsocialisterna. 1942 förstördes paviljongen under ett bombräd. På grundval av planer av arkitekten Ferdinand Streb byggdes den befintliga halvcirkelformade sjätte byggnaden med platt tak mellan 1952 och 1953 på den bevarade sockelvåningen och byggdes om mellan 1992 och 1994.