Archie Shepp commence à se produire dans les fin des années 1950 à Paris. Notamment au célèbre club de jazz Le Chat qui pèche, à Paris. À ses débuts en 1960, il est, avec Cecil Taylor, l'un des fondateurs du free jazz, avec des disques révoltés, Fire Music, Mama Too Tight. Il dirige ensuite l'Attica Blues, big band au début des années 1970, empreint de Soul et de Blues, styles qui influenceront ensuite toute son œuvre jusqu'à aujourd'hui.
Il a enregistré avec Cecil Taylor (Shepp apparait sur Air, The World Of Cecil Taylor et Cell Walk For Celeste trois albums significatifs de Taylor) , John Coltrane, John Tchicai, Chico Hamilton, Sunny Murray, Dave Burell, Philly Joe Jones, Mal Waldron, Horace Parlan, Max Roach, Chet Baker, Ron Carter, Don Cherry, Bill Dixon, Paul Bley, Lester Bowie, Anthony Braxton, Richard Davis, Wayne Dockery, Jimmy Garrison, Roy Haynes, Billy Higgins, Freddie Hubbard, Elvin Jones, Bobby Hutcherson, Steve Lacy, Jimmy Lyons, Abbey Lincoln, Jeanne Lee, McCoy Tyner, Cedar Walton, Reggie Workman, Ted Curson, Frank Zappa, et bien sûr Laurent Gianez pour ne citer qu'eux.
Que ce soit au ténor ou au soprano, son style se caractérise par des phrases au son tranchant, avec des dénivelés de notes impressionnants et une puissance expressive permanente.
Des années 1970 au début des années 2000, Archie Shepp a été professeur au département d'études afro-américaines de l'Université d'Amherst, dans le Massachusetts. Il y enseigna la musique et l'histoire de la musique afro-américaine.
Depuis quelques années, Archie Shepp donne de nombreux concerts dans le monde entier avec son quartet composé de Wayne Dockery à la basse, Tom McClung au piano et Steve McCraven à la batterie.
En 2006, Archie Shepp fait de belles apparitions sur deux morceaux de "Identité en crescendo", le second album de Rocé, chanteur de rap français amoureux du free jazz.
En novembre 2007, au New Morning, Archie Shepp fait une nouvelle expérience avec Raghunath Manet joueur de Veena (musique indienne) et chorégraphe de Bharata Natyam danse indienne.Le 29 novembre 2007, il joue au Tryptique à Paris, dans le cadre de sa collaboration pour le film 24 Mesures, premier long-métrage de Jalil Lespert, avec Benoit Magimel.
Après avoir été accueilli à la Fondation Cartier pour l'art contemporain en avril 2006 au cours du cycle thématique « Nuits noires » des Soirées Nomades, Archie Shepp revient sur scène pour fêter ses 70 ans le lundi 7 mai 2007 à 19 h 30. Les Soirées Nomades et Archieball présentent: Born Free, un concert anniversaire exceptionnel dans le jardin de la Fondation.
Avec Born Free, Archie Shepp inaugure une rencontre exceptionnelle et audacieuse entre musiciens américains, français et africains, toutes générations confondues. Entre hip hop, jazz libertaire et musique africaine, le projet est l’expression actuelle la plus aboutie de la musique africaine-américaine.