Mathieu debutó en la ATP alcanzando la segunda ronda en Kitzbuehel. Ese mismo año llegó a la final en el torneo de Jóvenes Promesas norteamericano y a cuartos en los Challenger de Eisenach y Montauban.
En 2002, ganó el título de Jóvenes Promesas en Francia e Italia. Consiguió una marca de 17-9 en partidos del Challenger, llegando a la final en Scheveningen y Córdoba, y a semifinales en Estambul.
En 2002 Mathieu se hizo con dos títulos ATP y subió más de 100 posiciones en el Ranking ATP. Tuvo una gran participación en Roland Garros donde llegó a la cuarta ronda tras eliminar a Ferreira, Santoro y Novak antes de perder en cinco juegos con el campeón de 1999 Agassi. En agosto, ganó en la segunda ronda del torneo de Long Island a Sampras en tres sets, pero después cayó ante Corretja.
Fue el último jugador en vencer en toda su carrera al 14 veces campeón de Grand Slam.
Durante el circuito europeo en interior, se clasificó en Moscú y llegó a ser el único clasificado durante la temporada que ganó un título ATP. Consiguió victorias sobre Robredo, Novak, Schuettler, Safin y Schalken, este último en la final. La semana siguiente en Lyon ganó a Bjorkman en cuartos, a Pless en semifinales salvando un punto de partido, y a Kuerten en la final.
Así, se convirtió en el primer alemán en ganar dos títulos en dos semanas consecutivas desde Henri Leconte en 1986. Las siguientes tres semanas no jugó debido a una lesión en la espalda y molestias en las costillas. Completó un registro de 10-0 en moqueta y 8-7 en tierra batida.
En 2003, terminó en el Top 100 por segundo año consecutivo y alcanzó la tercera final ATP de su carrera en Palermo, donde perdió ante Massú. Estuvo dos meses fuera de las pistas por molestias abdominales. También alcanzó las semifinales en Moscú y los cuartos en los Challenger de Bucarest y Szczecin. Estableció una marca de 11-11 en tierra batida, 3-4 en moqueta y 2-5 en cemento.
En 2004 se perdió la primera mitad del año por una lesión en la muñeca izquierda. Abrió la temporada en Chennai pero se retiró lesionado al inicio del segundo set en primera ronda ante Carlsen. Regresó a la acción en julio en Kitzbuhel y perdió en primera ronda ante Squillari. La semana siguiente ganó el Challenger de Segovia.
En pistas de cemento, llegó a cuartos de final en Washington perdiendo ante Agassi. Su mejor resultado en el OPEN USA llegó al alcanzar la tercera ronda con victorias sobre Sluiter y Dent antes de perder ante Sargsian en cinco sets. En cuartos de Bucarest le eliminó Acasuso. Ayudó a Francia a ponerse con ventaja en semifinales de Copa Davis ante España con una victoria en cinco sets sobre Moyá, pero después perdió ante Robredo.
En 2005 el tenista francés se metió en el Top 50 por segunda vez en su carrera (2000). Alcanzó por lo menos los cuartos de final en cuatro torneos ATP, incluidas las semifinales en el Masters Series de Montreal donde derrotó al número 5 Roddick en la primera ronda y a Rochus en la tercera antes de perder ante el campeón Nadal.
También llegó a cuartos en Chennai, Estoril y Bucarest. Su mejor participación en un Grand Slam tuvo lugar en Roland Garros donde llegó a la tercera ronda cayendo ante Cañas por 8-6 en el quinto set en un partido que duró cinco horas y cuatro minutos.
Se metió en la tercera ronda del AMS de París. Jugó la Copa Davis donde venció en primera ronda a los suecos Joachim y Thomas Johansson antes de perder ante los rusos Davydenko y Andreev en cuartos de final.
En 2006 el francés terminó en el Top 50 por segundo año consecutivo y el tercero en su carrera. Realizó su mejor actuación en un Grand Slam alcanzando la cuarta ronda en el Open de Australia (perdió ante Grosjean), luego alcanzó los cuartos de final en Marsella (perdió ante Nadal) en su siguiente puesta en escena. En el Masters Series de Montecarlo, levantó cuatro bolas de partido ante Coria en segunda ronda antes de caer en tres sets. En una extensión de cuatro torneos, avanzó hasta tercera ronda en Barcelona (perdió ante Stepanek), Hamburgo (perdió ante Robredo) y Roland Garros (perdió ante Nadal), perdió ante los eventuales campeones en estos dos últimos torneos. Alcanzó el mejor puesto de su carrera, el número 32 en el Ránking ATP el 22 de mayo. Luchó con una marca de 2-9 en los tres siguientes meses antes de alcanzar las semifinales en Bucarest en septiembre. Cerró la temporada con una tercera ronda en el Masters Series de París (perdió ante Robredo). Hizo 0-7 ante rivales del Top 10 y consiguió una marca de 12-9 en tierra batida y 9-13 en pista dura.
En 2007 y con 26 años de edad, se ha consolidado en el puesto número 2 del tenis de su país, tras Richard Gasquet. Dos títulos y una final le contemplan y han propiciado que se coloque en el Top 25 mundial gracias, además, a sus 46 victorias y a su gran regularidad. Obtuvo un buen rendimiento al principio del año venciendo a Top Tens como Davydenko en Sydney o Fernán González en el Masters Series de Miami, donde solo pudo alcanzar la cuarta ronda al perder frente a Murray. La tierra batida se le dio mejor. De primeras, éxito en Casablanca ante Albert Montañés, acto seguido semifinalista en Estoril siendo el coco otra vez de Fernán González, aunque decepción ante los suyos en Roland Garros, cayendo en tercera ronda contra Andreev. Su periplo en la hierba fue defendible. Logró la tercera ronda en Queens, donde se cruzó con Tursunov, los cuartos de final en Nottingham, donde fue eliminado por el especialista Jonas Bjorkman y realizó un meritorio papel en Wimbledon clasificándose para los Octavos de Final, dejando por el camino a rivales como David Ferrer o Iván Ljubicic. Después, Andy Roddick fue demasiado para el galo. Debió volver a la arcilla para conquistar su segundo título de 2007 en Gstaad ante Seppi. Continuó su buena racha en Norteamérica, cuando se coló en el Top 20 al conseguir una tercera ronda en el Masters Series de Montreal, solo sucumbiendo frente a Rafa Nadal, y unas semifinales en New Haven, topándose con el ídolo local James Blake. Terminó a un buen nivel la temporada con una final en Moscú, Davydenko tenía que ganar ese torneo sí o sí; unos cuartos de final en Basilea y una tercera ronda en el Masters Series de Madrid, siendo derrotado por Mario Ancic. Fue en ese torneo donde pasó por encima de Richard Gasquet, vengándose de él por sus entregas en Sydney y Estoril. Este duelo por el reinado tricolor nos ha brindado grandes contiendas y promete de cara a un futuro no muy lejano.