Ia dan saudaranya, Alex Van Halen, lahir dari pasangan Jan Van Halen (1920-1986), seorang pemain saksofon Belanda yang memiliki keturunan Swedia, dan Eugenia van Beers (1914-2005), seorang Eropa-Indonesia (Indo), dari Rangkasbitoeng. Keluarga ini beremigrasi pada tahun 1962 ke Pasadena, California. Di sini sang ayah segera mengajarkan anaknya bermain piano.
Tak lama kemudian mereka beralih ke drum (Eddie) dan gitar (Alex), yang diberikan oleh sang ayah. Alex, yang lebih suka bermain drum milik Eddie, malah kemudian lebih mahir bermain drum sehingga Eddie beralih mendalami gitar. Selanjutnya, keduanya mulai sering mengisi kegiatan musik di sekolah dan berbagai tempat dengan mengajak beberapa pemusik lain. Pada masa inilah mereka memutuskan membentuk grup Mammoth.