Urodził się 25 grudnia 1895 r. w Piotrkowie Trybunalskim. Wiosną 1911 r. założył pierwszy w rodzinnym mieście i jeden z pierwszych na ziemiach polskich tajny zastęp skautowy. Rowecki wstąpił do Legionów Polskich, służąc w 1 i 5 pułku piechoty. Walczył w wojnie polsko-bolszewickiej 1920 r., podczas której wsławił się zręcznym wyjściem z sowieckiego okrążenia w rejonie Łucka. W tym okresie Rowecki był także szefem Oddziału II Dowództwa Frontu Południowo-Wschodniego, a potem Grupy Uderzeniowej gen. Edwarda Rydza-Śmigłego. Po zakończeniu działań wojennych objął stanowisko szefa sekcji planów oraz zastępcy szefa Oddziału III Naczelnego Dowództwa. Podczas zamachu majowego w 1926 r. zachował neutralność. Na początku 1936 r. przejął dowództwo Brygady Korpusu Ochrony Pogranicza „Podole”. W czasie wojny obronnej w 1939 r. pod jego dowództwem Warszawska Brygada Pancerno-Motorowa brała udział w walkach w rejonie środkowej Wisły i na Lubelszczyźnie, wchodząc w skład Armii „Lublin”. Został szefem sztabu i zastępcą dowódcy Służby Zwycięstwu Polski (SZP). Od 30 czerwca 1940 r. był Komendantem Głównym ZWZ. W grudniu 1940 r. z polecenia Roweckiego w Biurze Informacji i Propagandy utworzono specjalną komórkę „N”. Latem 1941 r. utworzył organizację dywersyjną „Wachlarz”. Z jego inicjatywy doszło do połączenia najważniejszych organizacji konspiracyjnych w kraju w jednolite wojsko podziemne - Armię Krajową. 14 lutego 1942 r. został jej Komendantem Głównym. Rowecki został wydany Niemcom przez agentów Gestapo w wywiadzie AK - Blankę Kaczorowską, Ludwika Kalksteina i Eugeniusza Świerczewskiego. 30 czerwca 1943 r. został aresztowany w warszawskim mieszkaniu przy ul. Spiskiej. Odrzucił niemiecką propozycję współdziałania. W połowie lipca 1943 r. umieszczono go w obozie koncentracyjnym w Sachsenhausen. Tuż po wybuchu Powstania Warszawskiego, został zamordowany na specjalny rozkaz szefa SS Heinricha Himmlera. Według ustaleń śledztwa przeprowadzonego przez IPN jego egzekucji dokonano pomiędzy 2 a 7 sierpnia 1944 r., prawdopodobnie na terenie krematorium obozu w Sachsenhausen. Dokładne okoliczności jego śmierci i miejsce pochówku do dziś nie są znane.
