Setelah pensiun dari bermain sepak bola, Klopp ditunjuk untuk menjadi manajer tim senior FSV Mainz 05. Selama menjabat posisi itu untuk tujuh tahun, kariernya naik turun. Ia berhasil membawa klubnya untuk pertama kali bermain di 1. Bundesliga (Divisi Utama Bundesliga) dan bahkan mencapai kualifikasi 2005–06 UEFA Cup. Namun, akibat banyak pemain unggulan yang hijrah ke klub lain, Mainz 05 harus mengalami relegasi di akhir Bundesliga musim 2006-07. Klopp memutuskan untuk bertahan dan berjanji untuk mengangkat kembali klubnya di musim berikut. Namun, janjinya ini tak terpenuhi sehingga ia mengundurkan diri pada akhir Bundesliga musim 2007-08.
Selama musim 2011-12, Borussia Dortmund berhasil meraih beberapa rekor. Poin 81 yang dicapainya pada klasemen akhir merupakan yang tertinggi dalam sejarah Bundesliga, setelah poin 47 pada paruh musim juga merupakan yang tertinggi. Selain itu, 25 kemenangan dalam seluruh musim menyamai rekor Bayern Muenchen pada musim 1972-73, bahkan 28 permainan tak terkalahkan merupakan rekor yang terbaik dalam divisi utama Bundesliga[6]. Pada tanggal 12 Mei 2012, Klopp mencetakkan sejarah bagi klubnya dengan membuat kemenangan berganda: Juara liga dan juara Piala DFB (DFB-Pokal), mengalahkan Bayern Muenchen 5–2. Klopp mengaku "sebagai sesuatu yang lebih baik daripada yang dapat dibayangkannya".
Sejak tahun 2005 Klopp menjadi narasumber (komentator) utama bagi stasiun televisi Jerman ZDF, yang berpusat di Mainz. Ia memberikan ulasan dan pendapatnya terhadap penampilan tim nasional sepak bola Jerman. Namanya semakin luas dikenal publik ketika ia juga menjadi narasumber utama pada siaran-siaran pertandingan di Piala Dunia FIFA 2006 yang berlangsung di Jerman. Karena banyak yang menyukai ulasannya, ia mendapat penghargaan televisi Jerman ("Deutsche Fernsehpreis") untuk kategori siaran olah raga terbaik. Kontraknya sebagai narasumber berakhir seusai UEFA Euro 2008 dan posisinya digantikan oleh Oliver Kahn, mantan kiper timnas sepak bola Jerman. Ketika berlangsung Piala Dunia FIFA 2010 di Afrika Selatan, ia kembali menjadi narasumber di stasiun televisi RTL mendampingi anchor Günther Jauch.