Der Park wurde bereits ab 1620 von A. Oldehorst als Landgut angelegt. Ein Relikt aus dieser Zeit ist die eindrucksvolle, ursprünglich vierreihige Lindenallee. 1786 erwarb dann der Kaufmann Johann Caesar Godeffroy das Grundstück bei einer Auktion. Damals war es das größte Landgut in der Gegend. Das klassizistische Landhaus, welches ebenfalls noch steht und heute als Ballettschule dient, ließ Godeffroy seinerzeit vom später berühmten Architekten Christian Frederick Hansen entwerfen.
Zusätzlich entstand um 1800 etwas abgerückt ein reetgedecktes Kavaliershaus. Das heutige „Witthüs“ beherbergt eine Teestube, in der hausgemachter Kuchen und russischer Rauchtee serviert werden. Zeitweilig, von 1950 bis zu seinem Tod 1959, hatte es dem Schriftsteller und Orgelbauer Hans Henny Jahnn als Wohnsitz gedient. Eine Tafel mit Relief am „Witthüs“ sowie ein Findling im Park sollen an ihn erinnern.
Der Hirschpark wurde als Landschaftsgarten gestaltet. Auch hier finden sich die dafür typischen Entwurfselemente: Weite Wiesenflächen und imposante Einzelbäume ebenso wie malerische Baumgruppen und kleinere Waldbereiche, alles miteinander verknüpft durch ein geschwungenes Wegesystem und akzentuiert durch verschiedene Aussichtspunkte.
So kann man beispielsweise noch heute den Ausblick auf die Elbe von dem kleinen, etwas versteckt auf dem Geesthang angelegten Aussichtsplatz genießen. Als kleine Besonderheit gelten die beiden formalen Repräsentations- und Schaugärten im französischen Stil aus der Zeit um 1855. Der kleine, gut gepflegte Bauerngarten befindet sich unmittelbar vor dem „Witthüs“; der zweite, größere liegt in der Nähe des Landhauses und zeigte sich einst in Form eines Antiken Gartens.
Ein direkter Familiennachfahre, namentlich ebenfalls Johan Cesar Godeffroy, ließ um 1860 das Hirschgatter anlegen, in dem sich heute noch immer Damwild, aber auch Rentiere, Wasservögel und Pfauen beobachten lassen.
Im Jahr 1924 erwarb die Gemeinde Blankenese das Anwesen, drei Jahre später wurde es durch die Stadt Altona der Öffentlichkeit übergeben und durch Ferdinand Tutenberg in eine öffentliche Anlage umgestaltet.
Heute ist der Hirschpark, mit seiner bemerkenswerten, zum Teil vierreihigen Lindenallee, ein beliebtes Ausflugsziel, vor allem für Familien mit Kindern. Einige der prachtvollen, jahrhundertealten Bäume laden zum Klettern ein, während auf die Kleinen hinter dem Godeffroyschen Haus zusätzlich ein Spielplatz wartet.
Der Hirschpark ist ein in die Hamburger Denkmalliste eingetragenes Gartendenkmal.