A montreali születésű Léveillée ötéves korában került kapcsolatba a zenével. 27 évesen 1959-ben fedezte fel őt Edith Piaf, amikor együttesével - amelynek tagjai később szintén híres zenészek lettek - egy passzázsban játszott. Az akkor már híres énekesnő felkérte, hogy írjon számára dalokat, és meghívta, hogy éljen Párizsban. Léveillée tollából olyan sanzonok születtek, mint a La voix, a Boulevard du crime és a Les vieux pianos.

1961-ben visszatért Québecbe, megismerkedett Gilles Vigneault-lal, akivel sokáig együtt dolgozott. 1964-ben társalapítója volt a Téatre de Quat'sous-nak. 1966-ban fellépett az amerikai Ed Sullivan-showban. Nagyszerű zongorista volt, több tucatnyi lemezen közreműködött, amelyek közül az egyik legnagyobb sikerű a Frédéric és a Les immortelles. Kisebb filmszerepekben is feltűnt. 2004-ben egy agyvérzést követően már nem lépett többé színpadra.