Der Garten ist ein kleines, terrassenförmig angelegtes Paradies. Die mittlere Ebene bildet mit der großen, zentralen Rasenfläche die „Römische Terrasse“ parallel zur Elbe. In ihrer Mittelachse ruht ein kleines Seerosenbecken, angelegt als „Spiegel des Himmels“. Besonders deutlich wird dies von der obersten Ebene aus. Eine Rundtreppe führt in eine kleine Nische mit Sitzbänken, eingelassen in eine 3-stufige, blumenbepflanzte Feldsteinmauer. Auf der gegenüberliegenden Seite betont eine charakteristische Thuja-Heckenpflanzung den südlichen Rand und inszeniert gleichzeitig den Ausblick auf die Elbe.
Im Westen der Anlage gab es einst einen Rosengarten, an seiner Stelle findet man heute jedoch nur noch Rasenflächen. Auf der Südseite gelangt man über eine breitgeschwungene Treppe zu dem Freilicht-Hecken-Theater, das 1924 eingeweiht wurde. Eine kreisförmige Rasenfläche wird von einer Eibenhecke umgeben, die durch geschickte Versetzung damals den Zu- und Abgang der Akteure zuließ. Im Theater haben über 200 Besucher/innen Platz.
Was heute eine öffentliche Grünanlage ist, gehörte Ende des 19. Jahrhunderts noch zum Privatbesitz des Hamburger Kaufmannes Anton Julius Richter. Auf Italienreisen holte er sich die Inspirationen für seinen eigenen römischen Garten, den er zwischen 1880 und 1890 auf dem Hügelrücken 30 Meter über der Elbe anlegen ließ. Der Garten spiegelte die Italien-Sehnsucht der damaligen Zeit wider. Doch erst die Hamburger Bankiersfamilie Warburg verlieh der Anlage ihr endgültiges Erscheinungsbild.
Moritz M. Warburg erwarb ihn im Jahr 1897 und sein Sohn Max bzw. dessen Frau Alice ließen die Grünanlage umgestalten. In den 20er und 30er Jahren erlebte der Garten seine Blütezeit als Treffpunkt der Hamburger Gesellschaft.
Im Freilichttheater zeigte man Aufführungen und auf der Terrasse wurde gespeist und später zur Musik der Kapelle, die in der kleinen Nische spielte, getanzt. Während der Zeit des Dritten Reiches musste die Familie Warburg emigrieren und so war der Garten dem langsamen Verfall ausgesetzt; wertvolle Plastiken verschwanden, zeitweise wurden dort sogar Flakgeschütze aufgestellt. Nach Kriegsende erhielt die Familie zwar ihren Besitz zurück, doch schon 1951 übergaben sie ihn der Stadt Hamburg unter der Bedingung, den Garten weiterhin zu erhalten und zu pflegen.
Obwohl der Bürgermeister Max Brauer zwei Jahre später Hamburgs neue öffentliche Grünanlage einweihte, ließ man sie dennoch verwildern. Erst zu Beginn der 90er Jahre restaurierte man Teile des Römischen Gartens, so zum Beispiel 1994 das Freilichttheater, in dem heute wieder ab und zu kleinere Aufführungen stattfinden.
Der Römische Garten ist ein erkanntes Gartendenkmal nach dem Hamburgischen Denkmalschutzgesetz.