Nacido en el seno de una familia muy modesta, durante su juventud ejerció los humildes oficios de limpiabotas y albañil, aunque desde muy pronto su gran afición por la música le llevó a enrolarse en distintos grupos locales: ya por entonces había entablado amistad con Rafael Cortijo, un personaje clave en la carrera artística de Rivera, con quien compartió fama y escenarios en numerosas ocasiones.
Tras cumplir con las obligaciones militares en Estados Unidos, en 1952 fue contratado como cantante de la Orquesta Panamericana de Lito Peña, con la que se dio a conocer y cosechó sus primeros éxitos: La vieja en camisa, La sazón de la abuela y especialmente El charlatán, una plena que fue muy oída a través de las emisoras de la isla.
En 1954 abandonó este grupo para unirse al Combo de Cortijo, en el que ese mismo año popularizó otra plena, El bombón de Elena, de Rafael Cepeda Atiles; además de los programas radiales, Rivera y el Combo realizaban actuaciones periódicas en locales como La Taberna India, e incluso llegaron a contar con un espacio en la televisión puertorriqueña llamado El Show del Mediodía.
A finales de los años cincuenta fueron contratados para actuar en el prestigioso club neoyorquino Palladium Ballroom, donde junto a otras míticas bandas de puertorriqueños, las de Tito Puente o Tito Rodríguez entre otros, pusieron de moda los ritmos tropicales importados desde la isla: fue la época de temas tan exitosos como El negro bembón, Maquinó Landera, Tuntuneco, Quítate de la vía Perico o Saoco.
La triunfal trayectoria de Ismael Rivera se vio interrumpida en 1962, al ser detenido en el aeropuerto de San Juan por posesión de drogas; condenado a una pena de cuatro años que cumplió en la prisión de Lexington (Kentucky), no cayó sin embargo en el olvido, ya que su compatriota Bobby Capó se encargó de recordar su figura con el tema Las Tumbas. Tras recuperar la libertad, disuelto el Combo de Cortijo, formó su propio conjunto musical, Los Cachimbos, y se sumergió en el naciente movimiento salsero al que aportó dos clásicos como Dime por qué y Mi negrita me espera, sin olvidar otros géneros latinos como el bolero y la guajira.
En 1974 volvió a reunirse con Rafael Cortijo y el viejo Combo en un concierto celebrado en el Estadio Roberto Clemente de San Juan, y durante esta década se convirtió en embajador de la salsa por toda América, trabajando para el principal sello discográfico del género, Fania, y triunfando con temas como De todas maneras rosas.
En la faceta de compositor, aunque menos conocida que la de intérprete, dejó algunas piezas muy notables: Besito de Coco (tema célebre en la voz de Celia Cruz), El incomprendido, Arrecotín, arrecotán,El que no sufre no vive, Mi libertad eres tú o Sola vaya, entre otros. En sus últimos años un cáncer de garganta le hizo perder la voz; falleció como consecuencia de un infarto, apenas tres años más tarde que lo hiciera su compañero Rafael Cortijo.
