Tahun 2003, Phelps memecahkan rekor dunia atas namanya sendiri di nomor 400 m gaya individual (4:09.09) dan pada bulan Juni, ia memecahkan rekor dunia di nomor 200 m gaya individual (1:56.04). Lalu pada 7 Juli, 2004, Phelps memecahkan rekor dunia lagi atas namanya sendiri di nomor 400 m gaya individual (4:08.41) dan menjadi andalan Amerika Serikat di Olimpiade 2004. Tahun sebelumnya Phelps juga memenangkan Sullivan Award. Dalam Olimpiade Beijing 2008, Phelps berambisi memecahkan rekor Mark Spitz yang meraih tujuh emas dalam satu kali kejuaraan Olimpiade. Dan ambisi tersebut menjadi kenyataan. Phelps memboyong delapan medali emas di Olimpiade akbar tersebut dengan lima emas di antaranya adalah nomor individu; dan lima di antaranya dengan pemecahan rekor dunia. Pada tanggal 28 Juli 2012, dalam kompetisi pertamanya di Olimpiade Musim Panas 2012, Phelps berada di posisi keempat di belakang rekan senegaranya dari AS, Ryan Lochte, Thiago Pereira dari Brasil, dan Kosuke Hagino dari Jepang di nomor gaya ganti perorangan 400m. Ini adalah pertama kalinya Phelps gagal menghasilkan medali dalam ajang Olimpiade sejak tahun 2000.
Pada tanggal 31 Juli 2012, Phelps meraih medali perak di gaya kupu-kupu 200 meter di belakang perenang Afrika Selatan, Chad le Clos dengan selisih waktu hanya 5/100ths per detik, dan medali emas di gaya bebas estafet 4 × 200 meter. Pencapaian ini membuat Phelps menyamai dan sekaligus melampaui rekor pesenam Uni Soviet, Larisa Latynina, sebagai atlet yang berhasil meraih medali terbanyak sepanjang sejarah penyelenggaraan Olimpiade.[5][6] Latynina menghadiri kompetisi Phelps dan meminta untuk mengalungkan medali pada Phelps, namun peraturan Olimpiade tidak mengizinkan hal tersebut. Latynina menyebut bahwa Phelps layak mendapat rekor tersebut.
Pada tanggal 2 Agustus 2012, Phelps memenangkan medali emas Olimpiade ke-16nya ketika ia berhasil mengalahkan Ryan Lochte di nomor gaya ganti perorangan 200 meter dengan waktu 1:54.27, dan dengan kemenangan itu Phelps juga mencatatkan diri sebagai perenang pria pertama yang sukses menjuarai nomor yang sama di tiga ajang Olimpiade berturut-turut.[8] Sejauh ini, hanya Rebecca Soni dan Phelps (dua kali) perenang yang berhasil mempertahankan gelar individu dari Olimpiade Musim Panas 2008. Kemenangan ini juga menandai gelar Olimpiade kelima Phelps dalam gaya ganti individual, memecahkan rekor sebelumnya yang dipegang oleh Tamás Darnyi (Hungaria) dan Yana Klochkova (Ukraina). Atas prestasinya ini, Phelps dikatakan sebagai perenang yang paling sukses yang berlaga dalam penyelenggaraan Olimpiade tiga kali berturut-turut.[