Granit Xhaka inizia la sua avventura calcistica con il Concordia Basilea prima di trasferirsi al Basilea nel 2002. Tra il 2008 e il 2010 gioca nell'Under 21 della squadra svizzera, giocando 37 partite e segnando 11 gol. La stagione 2010-2011 è quella del suo debutto tra i grandi, sempre con la maglia del Basilea, squadra in cui gioca le due successive stagioni. Nel 2012 viene acquistato dal Borussia Mönchengladbach, dove resta per quattro stagioni prima del grande salto di qualità in Premier League, con la maglia dell'Arsenal. Ha vestito la maglia dei Gunners, suo club attuale di appartenenza, ben 144 volte, mettendo a segno 11 gol.