Počátky parku sahají do poloviny 19. století, kdy město bylo ještě pevností. Ve výběžku hradeb na soutoku řek Labe a Orlice byl na zrušených zelinářských zahradách založen důstojnický park, který nebyl přístupný veřejnosti. Dodnes nalezeneme v sadech zbytky opevnění, zejm. zděný průchod hliněným valem (poterna), kterým vcházíme do růžové zahrady. V roce 1896 město pozemky vykoupilo od vojenské správy a park zpřístupnilo veřejnosti. U hlavní vstupní brány byl v roce 1922 postaven pomník Aloise Jiráska s reliéfní deskou Bratrstva od Bohumila Liznera a Josefa Srdínka. V cípu u soutoku se nadále pěstovala zelenina, ale v roce 1926 i tuto část převzalo město a vysadilo zde zmíněnou růžovou zahradu a o rok později alpinárium. V roce 1932 byl postaven restaurační a parkový pavilon podle návrhu Jana Reicha (dnes Floristická střední škola). O dva roky později bylo na soutoku řek umístěno bronzové sousoší Labe a Orlice, které pro město vytvořil Josef Škoda. Alegorické sousoší zobrazuje odvážným způsobem splynutí Labe a Orlice v podobě nahých milenců a ve své době vyvolalo rozruch. V roce 1935 byl v parku umístěn dřevěný kostelík sv. Mikuláše, který sem byl přemístěn z Malé Polany.