Vedtaket om å bygge rådhus i Pipervika skulle komme til å bety utradering av en hel bydel. Allerede før Christiania ble anlagt i 1624 bodde det folk i Pipervika. Det skal ha vært enkelte fiskere, noen dagarbeidere og soldater. Soldatene sin tilstedeværelse skyldtes nok nærheten til festningen, og noen vil ha det til at det var militærmusikantene - 'piberne' - som har gitt navnet til bydelen.

Dette var de fattiges bydel. Eilert Sundt påviste i en omfattende undersøkelse "..om Arbeiderklassens Kaar og Sæder i Christiania" fra 1858 - at barnedødeligheten var på hele tretti prosent, og at det bodde hele 4,2 mennesker pr. oppholdsrom.  Undersøkelsen omfattet Pipervika og Ruseløkkbakken - som også noe uærbødig ble kalt røverstatene Algier og Tunis. Bebyggelsen der forsvant da Viktoria Terasse ble bygd.

Vestbanestasjonen sto ferdig i 1872. Bygningen ble tatt i mot med begeistring, og folk la søndagsturen hit for å beundre den. En sammenhengende rekke med fire-etasjers murbygninger reiste seg etterhvert langs Sjøgaten - som etterhvert skulle få navnet Rådhusgaten. På den måten kunne de tilreisende med Drammensbanen unngå å ta i øyesyn de små trehusene hvor de aller fattigste bodde, og bydelen ble mer presentabel.

Byggingen av både Vestbanestasjonen og Rådhuset, medførte dramatiske forandringer for Pipervika