Urodził się 19 stycznia 1893 roku w Warszawie. Studiował ekonomię na Wyższych Kursach Handlowych Zielińskiego. Związał się w tym czasie z organizacjami niepodległościowymi. Był członkiem Związku Strzeleckiego oraz Związku Młodzieży Postępowo-Niepodległościowej. Po wybuchu I wojny światowej znalazł się w I Brygadzie Legionów. Po tzw. „kryzysie przysięgowym” został internowany w Beniaminowie w lipcu 1917 roku. Po zwolnieniu wstąpił do Polskiej Organizacji Wojskowej. W listopadzie 1918 roku ponownie znalazł się w Wojsku Polskim. Został szefem sztabu 9. Dywizji Piechoty.
1 sierpnia 1934 roku objął funkcję komisarycznego prezydenta Warszawy. Rządził Warszawą w sposób twardy i stanowczy, za co często spadała na niego krytyka przeciwników politycznych. Mimo to był szanowany przez ludność i współpracowników, którzy dostrzegali jego liczne talenty - od organizacji poprzez zdolności przywódcze. W 1938 roku uchwalono plan rozbudowy miasta rozpisany na cztery lata. Zakładał on budowanie dzielnic mieszkaniowych, w związku z trudną sytuacją obywateli warszawskich. Ambitne plany pokrzyżowała II wojna światowa. Szczególnym wyrazem jego zaangażowania w działalność na rzecz wzmocnienia obronności stolicy była odezwa do ludności z 23 sierpnia 1939 roku, w której wzywał on do powrotu do miasta. Jednocześnie rozpoczął przygotowania do zorganizowania cywilnej obrony Warszawy. Jeszcze w końcu sierpnia ludność stolicy ochoczo, w myśl apelu Starzyńskiego, ruszyła do kopania rowów przeciwczołgowych i budowy schronów.
Podczas kampanii wrześniowej pełnił niezwykle ważne stanowisko, podnosząc morale mieszkańców Warszawy oraz zagrzewając ich do walki. W czasie Wojny Obronnej był komisarzem cywilnym przy Dowództwie Obrony Warszawy oraz przy Armii „Warszawa”. Po kapitulacji miasta rozpoczął działalność konspiracyjną. 27 października 1939 roku został schwytany przez Niemców. Więziono go przez krótki okres czasu na Pawiaku. Potem przewieziono go do Berlina, a następnie umieszczono w obozie koncentracyjnym w Dachau. 17 października 1943 roku Starzyński został zamordowany przez niemców w obozie koncentracyjnym w Dachau.
