Rubalcaba tuvo con Felipe González y José Luis Rodríguez Zapatero sus años de mayor presencia política en el PSOE. Con el primero como secretario de Estado de Educación, ministro de Educación y Ciencia, portavoz del Gobierno y titular en el Ministerio de Presidencia. Con el segundo, como portavoz socialista en el Congreso y ministro del Interior. Además, desde 2010 se hizo cargo de la Vicepresidencia y la Portavocía del Gobierno. Fue durante la etapa final del Gobierno de González cuando Rubalcaba tuvo que hacer frente a escándalos de corrupción y los GAL. En 2012, Rubalcaba dio el salto a la Secretaría General del PSOE. Asumió el cargo que acabaría cediendo en 2014 en favor de Pedro Sánchez. Tras el batacazo electoral del PSOE en las europeas 2014, Rubalcaba anunció su retirada política para reincorporarse después a la Universidad Complutense de Madrid, concretamente como profesor en la facultad de Químicas. Previamente, en 2011, el Comité Federal del PSOE le había avalado para competir en las primarias por la sucesión de Zapatero. Rubalcaba acabaría presentándose a unas generales en las que el PSOE cosecharía el peor resultado de su historia hasta ese momento (110 diputados), vapuleado por el PP de Mariano Rajoy (186 diputados). En 2012, Carme Chacón y el propio Rubalcaba pugnaron por el liderazgo del partido. Se impuso por tan solo 22 votos a la exministra de Defensa, también fallecida, y se convertía así en líder de la oposición. Aguantaría en el cargo hasta el descalabro electoral en las europeas de 2014, que le llevaron a abandonar el cargo y la política en septiembre del mismo año.