Nel 1980 Calloni si trasferisce a Palermo nel campionato di Serie B. Con i rosanero, il bomber diede filo da torcere a un Milan non proprio in forma. In Coppa Italia Calloni segnò al 20' della ripresa il gol che stese i rossoneri. Poco dopo, in Serie B, Egidio mise in atto la fase finale della sua vendetta: una tripletta che decise la partita.