Jakob adalah putra seorang pensiunan guru di Sleman, Yogyakarta. Karier jurnalistik Jakob dimulai ketika menjadi redaktur Mingguan Penabur tahun 1956 dan berlanjut dengan mendirikan majalah Intisari tahun 1963 bersama P.K. Ojong, yang mungkin diilhami majalah Reader's Digest dari Amerika. Dua tahun kemudian, 28 Juni 1965, bersama Ojong, Jacob mendirikan harian Kompas yang dikelolanya hingga kini.
Tahun 80-an Kompas Gramedia Group mulai berkembang pesat, terutama dalam bidang komunikasi. Saat ini, Kompas Gramedia Group memiliki beberapa anak perusahaan/bisnis unit yang bervariatif dari media massa, toko buku, percetakan, radio, hotel, lembaga pendidikan, event organizer, stasiun TV hingga universitas.
Selain itu, bersama dengan Jusuf Wanandi, Muhammad Chudori, Eric Samola, Fikri Jufri, Goenawan Mohamad, H. G. Rorimpandey dan Harmoko, Jakob Oetama juga ikut mendirikan The Jakarta Post, harian nasional Indonesia berbahasa Inggris.
Ia meninggal dunia pada tanggal 9 September 2020 di Rumah Sakit Mitra Keluarga Kelapa Gading, Jakarta dan akan disemayamkan di Gedung Kompas Gramedia. Pemakaman akan dilangsungkan pada tanggal 10 September 2020 di Taman Makam Pahlawan Kalibata.