Jermaine y sus hermanos firmaron por primera vez como The Jackson Five con Gordon Keith de Steeltown Records en noviembre de 1967, y su primer sencillo «Big Boy» fue lanzado el 31 de enero de 1968. Después de que el grupo grabara tres canciones más con el sello Steeltown (en dos discos) fueron firmados con Berry Gordy de Motown Records en 1969. Como co-cantante principal de The Jackson 5 después de su hermano Michael, Jermaine cantó partes notables de «I Want You Back», «ABC», «I’ll Be There «,» The Love You Save «,» Dancing Machine «y muchas otras canciones de Jackson 5. Jermaine actuó como parte del grupo durante seis años. Sin sentir que Motown Records les estaba pagando regalías justas por su éxito, así como por su deseo de control creativo, los Jackson 5 decidieron dejar el sello y firmar con Epic Records en 1975. Sin embargo, Jermaine decidió quedarse con Motown Records. citando la lealtad a la empresa como motivo. Otros argumentan que el matrimonio de Jermaine con Hazel, la hija del fundador de Motown, Berry Gordy, con quien se casó en 1973, fue un factor decisivo. Jermaine se separó de los Jackson Five para comenzar una carrera en solitario en Motown, y fue reemplazado por su hermano Randy Jackson. Sin que el grupo lo supiera, Gordy había registrado el nombre de The Jackson Five y no permitió que el grupo continuara usando el nombre cuando dejaron la etiqueta. Una vez que firmó con Epic, el grupo se hizo conocido simplemente como The Jacksons. En 1983, Gordy le pidió al grupo que actuara en el especial de televisión Motown 25: Yesterday, Today, Forever. Después del éxito de la transmisión, Jermaine finalmente se reincorporó a la banda para grabar el álbum Victory, que incluía a los seis hermanos en la portada del álbum de Jackson. Jermaine también participó en el Victory Tour de la banda. Se quedó con el grupo durante su último álbum, 2300 Jackson Street, en 1989. Jermaine interpreta la canción If You’d Only Believe, de su álbum 2300 Jackson Street, el 15 de marzo de 1993, con sus hermanos Jackie, Tito y Randy. en el escenario del Grand Théâtre de Genève para la velada de las Naciones. También interpretó esta canción en solitario, el 14 de enero de 1990 en Atlanta, en homenaje a Martin Luther King, durante la King Week 90 ‘. En 2001, se reunió con sus hermanos para actuar en el especial del 30 aniversario de Michael Jackson.