Ajip Rosidi mulai menempuh pendidikan di Sekolah Rakyat Jatiwangi (1950), lalu melanjutkan ke Sekolah Menengah Pertama Negeri VIII Jakarta (1953) dan terakhir, Taman Madya, Taman Siswa Jakarta (1956). Meski tidak tamat sekolah menengah, namun dia dipercaya mengajar sebagai dosen di perguruan tinggi Indonesia, dan sejak 1967, juga mengajar di Jepang.
Pada 31 Januari 2011, ia menerima gelar Doktor honoris causa bidang Ilmu Budaya dari Fakultas Sastra Universitas Padjadjaran. Ajip mula-mula menulis karya kreatif dalam bahasa Indonesia, kemudian telaah dan komentar tentang sastra, bahasa dan budaya, baik berupa artikel, buku atau makalah dalam berbagai pertemuan di tingkat regional, nasional, maupun internasional.
Ia banyak melacak jejak dan tonggak alur sejarah sastra Indonesia dan Sunda, menyampaikan pandangan tentang masalah sosial politik, baik berupa artikel dalam majalah, berupa ceramah atau makalah. Dia juga menulis biografi seniman dan tokoh politik.
Ia mulai mengumumkan karya sastra tahun 1952, dimuat dalam majalah-majalah terkemuka pada waktu itu seperti Mimbar Indonesia, Gelanggang/Siasat, Indonesia, Zenith, Kisah, dll. Menurut penelitian Dr. Ulrich Kratz (1988), sampai dengan tahun 1983, Ajip adalah pengarang sajak dan cerita pendek yang paling produktif (326 judul karya dimuat dalam 22 majalah).
Bukunya yang pertama, Tahun-tahun Kematian terbit ketika usianya 17 tahun (1955), diikuti oleh kumpulan sajak, kumpulan cerita pendek, roman, drama, kumpulan esai dan kritik, hasil penelitian, dll., baik dalam bahasa Indonesia maupun Sunda, yang jumlahnya sekitar seratus judul. Karyanya banyak yang sudah diterjemahkan ke dalam bahasa asing, dimuat dalam bunga rampai atau terbit sebagai buku, a.l. dalam bahasa Belanda, Cina, Inggris, Jepang, Perands, Kroatia, Rusia, dll.
Sejak 1981 diangkat menjadi guru besar tamu di Osaka Gaikokugo Daigaku (Universitas Bahasa Asing Osaka), sambil mengajar di Kyoto Sangyo Daigaku (1982-1996) dan Tenri Daignku (1982-1994), tetapi terus aktif memperhatikan kehidupan sastra-budaya dan sosial-politik di tanah air dan terus menulis. Tahun 1989 secara pribadi memberikan Hadiah Sastera Rancagé setiap yang kemudian dilanjutkan oleh Yayasan Kebudayaan Rancage yang didirikannya.
Setelah pensiun ia menetap di desa Pabelan, Kecamatan Mungkid, Magelang, Jawa Tengah. Meskipun begitu, ia masih aktif mengelola beberapa lembaga nonprofit seperti Yayasan Kebudayaan Rancagé dan Pusat Studi Sunda. Pada tahun 2008, beberapa sastrawan mengapresiasi karyanya yang dituangkan dalam buku berjudul Jejak Langkah Urang Sunda 70 Tahun Ajip Rosidi.