Ballo-Touré inizia la carriera nell'Eragny, club in cui è cresciuto il difensore del PSG e della Francia Presnel Kimpembe. E proprio in quel di Parigi che il ragazzino si traferisce all'età di 13 anni, e qui fa tutta la trafila del settore giovanile. Una curiosità: nel 2016 partecipa alla Youth League e perde la finale contro il Chelsea di un giovanissimo Fikayo Tomori. I parigini decidono di non rinnovargli il contratto, in scadenza nella stagione 2016/2017. Il Lille non si fa scappare l'occasione e lo arruola in squadra. Nelle successive due stagioni gioca con continuità nella squadra di Cristophe Galtier. Le sue prestazioni destano l'interesse del Monaco che, nella stagione 2018/2019, decide si spendere 11 milioni di euro per acquistarlo.