Родился в Миссиссипи, через некоторое время Джемисон переехал со своей матерью в Мемфис, штат Теннесси. С тех самых пор он считает себя уроженцем Мемфиса. Уже в школьные годы он участвует в рок-группах. Позже он становится вокалистом таких групп, как Target и Cobra, а также принимает участие в ряде других коллективов, включая ZZ Top на бэк-вокале. После распада Cobra в 1983 году он был приглашен на прослушивание в Survivor, тогда как их вокалист Дейв Биклер нуждался в операции на голосовых связках и больше не мог участвовать в группе. Джемисон получает работу, становясь новым участником группы. В начале 90-х Джими Джемисон сформировывает группу и дает ей своё имя. В 1991 году записывает свой первый сольный альбом «when Love Comes Down».