Széchenyi Zsigmond gyermekkorát Sárpentelén, a családi kastélyban töltötte.
Felnőttként a Balaton déli partján, Kőröshegyen volt először saját kastélya.
Innen a fővárosba költözött.
Rövid ideig a VIII. kerületben a Szentkirályi utca 32/b.-ben, majd a XII. kerületben, az Istenhegyi út 87. szám alatt élt kúriájában. A házról a Nemzeti Újság is beszámol 1941 januári számában:
„Az oroszlánvadász, mint rab oroszlán
(…) Az Istenhegyi út mentén áll a kuria, amely az útról kapujához kanyarodva földszintesnek látszik. A völgy felé azonban majdnem három emeletes. Épp ezért csak hátul kuria, elöl inkább kastély. Sőt több: múzeum is. Oldalához ugyanis, minden vadászkirándulás után, odaragasztott a tulajdonos egy afrikai, egy alaskai és egy indiai termet a vadásztrófeák számára. Ezekben a termekben pihennek a kitömött dögök. Valósággal szerencse, hogy közbejött a háború, mert különben a Svábhegy lejtője szűknek bizonyulna a minden nimród-kirándulás vadász-muzeum számára.”
Egy időben a Budavárban, szülei házában, az Úri utca 52. szám alatt volt lakása. Innen telepítették ki 1951. június 21-én.
Utolsó lakása Budapesten a XII. kerület Tóth Lőrinc utca 4.sz. ház első emeletén volt.