
Mardani menikah dengan Siti Oniah pada 8 September 1991. Keluarga itu memiliki sembilan orang anak, empat putra dan lima putri. Mardani menjabat sebagai anggota DPR-RI dua periode, meskipun hasil pemilihan umum legislatif Indonesia 2009 dan 2014 tidak mengantarnya ke DPR. Pada 2011, Mardani dilantik sebagai anggota DPR menggantikan Arifinto yang mengundurkan diri. Pada 2017, Mardani mengisi kekosongan kursi yang ditinggalkan Saduddin.
Menjelang pemilihan umum Gubernur DKI Jakarta 2017, PKS sempat mendeklarasikan Mardani sebagai bakal calon untuk dipasangkan dengan Sandiaga Uno. Namun, memasuki hari pendaftaran calon, PKS yang berkoalisi dengan Gerindra mengumumkan pasangan Anies Baswedan dan Sandiaga Uno sebagai kandidat yang diusung dalam pemilihan. Walaupun urung maju dalam pemilihan, Mardani dianggap memiliki kebesaran hati karena bersedia megetuai tim pemenangan dan pada saat yang sama PKS tak memaksakan mencalonkan kader sendiri. Saat Anies dan Sandiaga dinyatakan menang dalam hitung cepat, Ketua Umum Partai Gerindra Prabowo Subianto menyebut Mardani sebagai "panglima pemenangan". Mardani dianggap secara cerdas mampu membuat akar rumput PKS di Jakarta rapat dan solid memenangkan Anies–Sandi.