Karim Matmour wuchs als eines der sechs Kinder eines algerischen Immigranten, der als Bauarbeiter arbeitete, in Straßburg auf. Er trat mit fünf Jahren seinem ersten Fußballverein bei.[1]
Bis Dezember 2003 spielte Matmour bei Racing Straßburg und danach wiederum bei Vauban.
Zur Saison 2004/05 trat er dem SC Freiburg bei, bei dem er zunächst anderthalb Jahre lang in der Amateurmannschaft spielte. Seit Januar 2006 spielt er regelmäßig in der Profimannschaft des SC.
Im Laufe der Rückrunde der Saison 2006/07 entwickelte Matmour sich zu einem Leistungsträger[1] und verpasste mit dem Sportclub dreimal in Folge knapp den Aufstieg in die 1. Bundesliga. Zur Saison 2008/09 wechselte er zum Bundesligisten Borussia Mönchengladbach, die Ablösesumme soll etwas mehr als zwei Millionen Euro betragen haben.[2]