Jedes Haus hat zwei Väter: den Bauherrn und den Architekten. In der Zusammenarbeit beider entsteht das Werk, und oft merkt man schnell, wer von beiden der Bestimmende war. Das Baurecht und die geltende Bauordnung stellten im liberalen Hamburg um die Jahrhundertwende für beide Väter keine gravierende gestalterische Einschränkung dar. In der Hansestadt wollte man nicht »durch Vorschriften dem berechtigten Interesse der Kaufmannschaft, sich darzustellen, entgegentreten«, wie es in einer zeitgenössischen Äußerung aus der Finanzdeputation hieß.
Isidor Hirschfeld, der 1907 als Bauherr das Brandenburgerhaus in Auftrag gab, war ein jüdischer Übersiedler aus den östlichen Landesteilen des Deutschen Reiches, dem in Berlin und Hamburg ein erstaunlicher sozialer Aufstieg geglückt war. Die spärlichen Urkunden, vor allem aber Isidor Hirschfelds 1921 verfaßtes Tagebuch geben ein plastisches Bild davon. Geboren wurde er am 2. Januar 1868 in dem kleinen Kirchdorf Kasparus im Kreise Preußisch-Stargard (Regierungsbezirk Danzig) in Westpreußen, unmittelbar an der Grenze zu Ostpreußen. Als er schon in Hamburg lebte, wurde ihm im Staatsangehörigkeits-Ausweis vom 6. September 1900 durch den Königlich-Preußischen Polizei-Präsidenten bescheinigt, »daß er deshalb und zwar durch Abstammung die Eigenschaft als Preuße besitzt«. Seine Mutter Caecilie Rosenberg war mit dem Gastwirt Simon Hirschfeld verheiratet. Die Mutter betrieb zu Hause einen kleinen ländlichen Kolonialladen mit Ausschank, der Vater hausierte vor der Eheschließung mit Pferd und Wagen. Das Anwesen diente zugleich als Post-Umspannstation zum Auswechseln der Pferde. Hirschfeld wuchs in der kleinen, engen Welt des deutsch-polnischen Grenzgebiets auf, die von preußischen Kleinbeamten, Bauern und Schnapsbrennern geprägt war, aber auch immer wieder von ethnischen Auseinandersetzungen erschüttert wurde. Die Mutter war orthodox, der Vater eher liberaler Gesinnung. Isidor Hirschfeld schreibt über den elterlichen Betrieb: »Am Sonnabend wurden keine Geschäfte gemacht; die Kundschaft hatte sich danach zu richten. Der Gastwirtschaftsbetrieb war allerdings geöffnet, das war behördliche Vorschrift, aber im Laden wurde nichts verkauft.«
Als Vierzehnjähriger trat Hirschfeld, der elf Geschwister hatte, 1882 eine Lehrstelle in einem Textilgeschäft im nahen Preußisch-Stargard an. Er war äußerst anstellig und »stets bestrebt, die Initiative zu ergreifen«. So arbeitete er sich schnell empor. Schon 1884 bot sich ihm die Chance, nach Berlin zu wechseln und dort in die Firma Sielmann & Rosenberg einzutreten. Auch hier verließ ihn seine Glückssträhne nicht, so daß er schon 1889 deren Filialleiter in Hamburg wurde. Hier entschloss er sich nach wenigen Jahren, gemeinsam mit seinem Bruder Joseph ein eigenes Konfektionshaus zu gründen. Der Gewerbe-Anmeldeschein trägt das Datum vom 14. August 1893, das erste Geschäft lag am Neuen Wall 69, wo Hirschfeld auch im zweiten Stock eine kleine Wohnung hatte. Der Start gestaltete sich äußerst zufriedenstellend. Man begann, am gesellschaftlichen Leben teilzunehmen. Hirschfeld schreibt: »Damals galt der für reich, der sich eine Bäderreise erlaubte. Im allgemeinen wurde nicht gereist. Angestellte kannten keine Erholungsreise«. Das Jahr 1894 brachte bereits einen respektablen Gewinn. Der Bruder Joseph heiratete eine Frau mit guter Mitgift, starb aber bald danach. Zwei weitere Brüder, Walter und Benno, traten in das Geschäft ein, man expandierte und baute aus. 1899 betrug das Firmenvermögen etwa 43.000 Mark. 1902 wurde Hirschfelds Gesuch um Aufnahme in den Hamburgischen Staatsverband positiv entschieden. In den Jahren 1910/12, auf dem Höhepunkt seines kaufmännischen Erfolges, machte Hirschfeld einen Umsatz von ca. 2,4 Millionen Mark. Die Damenbekleidungsfirma Gebr. Hirschfeld hatte insgesamt über 500 Angestellte in Fertigung und Verkauf. Sie eröffnete Filialen in Bremen, Lübeck, Leipzig und Chemnitz, jeweils nur einen einzigen Standort in bester Geschäftslage.
Es gibt Kunstwerke und Bauwerke, die bildlich gesprochen »unter falscher Flagge segeln«. Albrecht Dürers »Vier Apostel« stellen keine Apostel dar, und die berühmte Spanische Treppe in Rom hat nichts mit Spanien zu tun. So ist es auch mit dem Brandenburgerhaus in Hamburg: Es ist nicht nach der preußischen Provinz Brandenburg benannt. Isidor Hirschfeld hatte 1906 im Anschluss an eine Badereise nach Karlsbad die aus St. Gallen stammende Frieda Brandenburger geheiratet. Ihr zu Ehren erhielt das 1907 geplante Kontorhaus in den Hohen Bleichen seinen Namen. Es war nicht für Hirschfelds eigene Büros gedacht, sondern eine gute Kapitalanlage, wie zur damaligen Zeit auch der Sternhof, Hohe Bleichen 5, und der Helgoländerhof (Besitzer: Isidor und Benno Hirschfeld) am Graskeller 3. Stammhaus der Firma wurde am 16.9.1893 der Neue Wall 80-82, im Jahre 1918 wurde als weitere Dependance der große ehemalige Schleusenhof, Alsterarkaden 14-16, dazu erworben.
Isidor Hirschfeld hat am bürgerlichen Leben der Hansestadt regen Anteil genommen. Er war als ehrenamtlicher Handelsrichter tätig und spendete große Summen zum Bau des neuen Tempels in der Oberstraße. Im Jahre 1937 starb er in Hamburg. Die ersten Pogrome der Nationalsozialisten hat er noch miterleben müssen.