Dès l'âge de huit ans, Alain Jean-Marie apprend le piano en autodidacte . Il fait ses débuts professionnels dans les bals en Guadeloupe reproduisant le répertoire local sur son clavier: biguine, latin jazz, salsa, cha cha. De 1967 à 1970, Alain Jean-Marie s'établit au Canada, puis revient en Guadeloupe.

Il s'installe à Paris en 1973 et accompagne régulièrement les plus grands : Chet Baker, Sonny Stitt, Art Farmer, Johnny Griffin, Lee Konitz, Bill Coleman, Max Roach, Christian Escoudé...

Il obtient le prix Django Reinhardt en 1979 et accompagne régulièrement la chanteuse Dee Dee Bridgewater à partir de 1986. La même année, il enregistre en duo avec le contrebassiste Niels-Henning Orsted Pedersen. En 1990, il enregistre également avec Abbey Lincoln, aux côtés de Jackie McLean, Billy Higgins et Charlie Haden. Il joue et enregistre également fréquemment avec Barney Wilen. En 1991, il enregistre en trio avec Henri Texier et Aldo Romano. Il enregistre deux albums en duo avec Michel Graillier.

En 1992 paraissent Biguine reflections premier opus d'une série d'enregistrements dans lesquels Alain Jean-Marie fait le lien entre ses racines caribéennes et sa culture be-bop retrouvant l'inspiration déjà apparue dans Piano Biguines en 1969. Il devient un des accompagnateurs incontournables de la scène jazz parisienne. Il participe également à plusieurs enregistrements avec d'autres musiciens guadeloupéens de jazz tels le guitariste André Condouant (Clean & Class - 1997), Roger Raspail (Fanny's Dream - 1997), en 2001 avec le saxophoniste Jocelyn Ménard (Men Art Works - 2002). Il enregistre à New York, en 2002, avec des musiciens essentiellement guadeloupéens, et sous la houlette du trompettiste Franck Nicolas, Jazz Ka Philosophy, un manifeste autour de la fusion gwo-ka et jazz.

Il travaille également en solo, et enregistre en 1999 Afterblue, pour lequel il reçoit le prix Boris Vian de l'Académie du Jazz (1999 - meilleur album de jazz français) et le Django d'Or (2000 - meilleur musicien français de jazz). Il récidive en 2004 avec That's What.

Il reste aujourd'hui un accompagnateur recherché, par exemple avec la chanteuse Elisabeth Kontomanou, quand il ne se produit pas en trio pour ses Biguines reflections. Homme réservé c'est à son clavier qu'il exprime le mieux sa personnalité avec un jeu chaleureux et subtil mêlant les diverses influences qui font sa culture, toujours attentif à ses compagnons du moment[réf. nécessaire].

Alain Jean-Marie prépare actuellement l'enregistrement de son duo avec la chanteuse Morena Fattorini, intitulé "Abandon à la nuit", tissage original et inédit entre différents univers musicaux (chants baroques, airs d’opéra, lied allemand, jazz, improvisation, polyrythmies afro-américaines et caribéennes).