Der Alte Elbpark ist ein Teil der ursprünglichen Hamburger Wallanlagen, welche sich ab dem 17. Jahrhundert in einem weiten Bogen von der Elbe über die Alster bei der heutigen Lombardsbrücke und zurück zur Elbe erstreckten. Zunächst konnten die Wallanlagen nur durch eines der sechs Tore überwunden werden, denn sie bestanden aus 22 Bastionen und einem Wassergraben. Der Alte Elbpark entstand auf der ehemaligen Bastion Casparus, wie alle Bastionen nach Ratsherren aus dem 17. Jahrhundert benannt.
Bereits 1806 errichtete man dort eine einfache Erfrischungsbude, die zehn Jahre später zu einem festen Elbpavillon ausgebaut wurde. Nachdem sich schließlich die Verteidigungswirkung der Wallanlagen als unbedeutend herausstellte, beseitigte man sie in den Jahren 1820 bis 1837 und wandelte sie in Parkanlagen um.
1869 fand auf dem Gelände des späteren Elbparks sowie auf dem angrenzenden Stintfang die erste Internationale Gartenbauausstellung Hamburgs statt. Elf Nationen präsentierten an elf Tagen tausenden Besuchern ihre aktuellen Gartenkünste. Damit war der Auftakt geschaffen für eine langjährige Tradition in den Wallanlagen, die sich später in den nördlichen Parkbereichen fortsetzte.
Seit 1906 trägt die einstige Bastion Casparus die offizielle Bezeichnung Alter Elbpark. Im selben Jahr wurde auf ihrer Anhöhe ein Denkmal zu Ehren des ersten Reichskanzlers errichtet. Die 15 Meter hohe Figur Otto von Bismarcks, gestützt auf ein Schwert, in Gestalt eines Rolands, blickt nach Westen über Altona elbwärts. Noch heute beeindruckt das größte Denkmal Hamburgs des Bildhauers Hugo Lederer mit seinen etwa 36 Metern. Der Sockel des Denkmals wurde einige Jahre später durch Figuren Germanischer Stämme ergänzt. Das Hamburger Bismarckstandbild ist das größte und wohl bekannteste der Welt.
Der Park ist ein bedeutendes Gartendenkmal. Das vorliegende Pflege- und Entwicklungskonzept ist Grundlage für eine Wiederherstellung verloren gegangener Qualitäten, auch unter Berücksichtigung der ökologischen Belange.