
Pada Mei 2002 IAIN tersebut berubah nama menjadi Universitas Islam Negeri (UIN) Syarif Hidayatullah Jakarta. Hal ini merupakan kelanjutan ide Rektor terdahulu Prof.Dr. Harun Nasution, yang menginginkan lulusan IAIN haruslah orang yang berpikiran rasional, modern, demokratis dan toleran. Pada awalnya, sesungguhnya Azyumardi tidak berobsesi atau bercita-cita menggeluti studi keislaman. Sebab, Dia lebih berniat memasuki bidang pendidikan umum di IKIP. Akan tetapi karena desakan ayahnya, Azyumardi masuk ke IAIN sehingga dia kini di kenal sebagai tokoh intelektual Islam Indonesia. Dia lahir dari ayah Azikar dan Ibu Ramlah. Pada 2006, posisinya sebagai Rektor resmi digantikan oleh Prof. Dr. Komaruddin Hidayat. Dalam rapat senat yang ia pimpin sendiri, Komarudin Hidayat terpilih menggantikannya dengan mengalahkan dua kandidat lainnya.
Azyumardi memulai karier pendidikan tinggginya sebagai mahasiswa sarjana di Fakultas Tarbiyah IAIN Jakarta pada tahun 1982, kemudian atas bantuan beasiswa Fullbright, ia mendapakan gelar Master of Art (MA) pada Departemen Bahasa dan Budaya Timur Tengah, Columbia University tahun 1988. Ia memenangkan beasiswa Columbia President Fellowship dari kampus yang sama, tetapi kali ini Azyumardi pindah ke Departemen Sejarah, dan memperoleh gelar MA pada 1989. Pada 1992, ia memeroleh gelar Master of Philosophy (MPhil) dari Departemen Sejarah, Columbia University tahun 1990, dan Doctor of Philosophy Degree dengan disertasi berjudul The Transmission of Islamic Reformism to Indonesia: Network of Middle Eastern and Malay-Indonesian ‘Ulama ini the Seventeenth and Eighteenth Centuries. Tahun 2004 disertasi yang sudah direvisi diterbitkan secara simultan di Canberra (Allen Unwin dan AAAS), Honolulu (Hawaii University Press), dan Leiden, Negeri Belanda (KITLV Press).

Sejak Desember 2006 menjabat Direktur Pascasarjana UIN Syarif Hidayatullah, Jakarta. Sebelumnya sejak tahun 1998 hingga akhir 2006 Azyumardi Azra adalah Rektor UIN Syarif Hidayatullah Jakarta. Ia pernah menjadi Wartawan Panji Masyarakat (1979-1985)[6], Dosen Fakultas Adab dan Fakultas Tarbiyah IAIN Syarif Hidayatullah, Jakarta (1992-sekarang), Guru Besar Sejarah Fakultas Adab IAIN Jakarta, dan Pembantu Rektor I IAIN Syarif Hidayatullah, Jakarta (1998).[5] Ia juga merupakan orang Asia Tenggara pertama yang di angkat sebagai Professor Fellow di Universitas Melbourne, Australia (2004-2009), dan anggota Dewan Penyantun (Board of Trustees) International Islamic University Islamabad Pakistan (2004-2009).[5] Ia juga masih menjadi salah satu anggota Teman Serikat Kemitraan bagi Pembaruan Tata Pemerintahan.