El excentral cordobés, de 46 años, inició su carrera profesional en Vélez Sarsfield, antes de dar el salto a Europa en 1999 de la mano del FC Barcelona. Tras ello, pasó por el Valencia, el Liverpool y el Deportivo Alavés, donde se retiró en la temporada 2005-06 tras lograr varios títulos nacionales e internacionales. Destaca en su palmarés la consecución de tres ligas, una con el Barcelona y dos con el Valencia, y una Copa de la UEFA también con el equipo 'che'.

Como entrenador, Pellegrino trabajó desde el 2006 al 2008 en la cantera del Valencia. Tras ese año, se marchó al Liverpool, donde fue segundo entrenador de Rafa Benítez, a quien acompañaría también en el Inter de Milán. Su andadura como primer entrenador comenzaría también en Valencia, en la temporada 2012-13. Después de eso, volvió a Argentina, donde se hizo cargo de Estudiantes desde el 2013 hasta el 2015, y de Independiente en la temporada 2015-16.

En 2016, Pellegrino volvió a Europa con el Deportivo Alavés, al que consiguió llevar a la final de la Copa del Rey en la campaña 2016-17, todo con un equipo recién ascendido y sólo siendo derrotado por el FC Barcelona. Esa temporada también logró la permanencia.

Su buen hacer le puso en la mirada del Southampton inglés, al que dirigió durante 30 jornadas, dejando al equipo fuera de los puestos de descenso.