En dépit de la défaite de la gauche, il est réélu député, le 16 juin 2002, pour la XIIe législature (2002-2007), avec presque 53 % des suffrages exprimés. Après le retrait de Lionel Jospin, il devient véritablement le patron du Parti socialiste. À ce titre, il dirige la rédaction du programme socialiste pour les élections régionales et cantonales et s'investit précocement dans la campagne. Fin 2003, il est un des seuls dirigeants à estimer une large victoire possible et il confie la direction de la campagne à son ami François Rebsamen. Les urnes lui donnent raison : en mars 2004, le PS remporte 20 des 22 régions de métropole et la Guadeloupe (du jamais vu depuis que les élections régionales existent), les deux tiers des cantons renouvelables élisent un conseiller de gauche, et 51 des 100 départements ont un président de gauche (pour la première fois depuis 1946), le PS progresse au détriment de la droite comme de ses alliés ; en juin, le PS obtient presque 29 % des suffrages exprimés aux élections européennes, son record pour ce scrutin.
À la fin du printemps, François Hollande met au point le calendrier d'élaboration du programme du Parti socialiste pour les prochaines élections nationales de 2007. La rédaction est terminée et le texte sera soumis aux membres du PS le 22 juin 2006.
Toujours 2004, il prend position pour le « oui » à la Constitution européenne et s'oppose au numéro deux du parti, Laurent Fabius.
Il organise un référendum interne au PS sur la question. Le 1er décembre, les militants votent « oui » à 59 % : François Hollande en sort renforcé et obtient un statut de présidentiable pour l'élection présidentielle de 2007. S'il laisse son poste de numéro deux à Laurent Fabius, il remplace plusieurs des partisans du « non » au Secrétariat national par des promoteurs du « oui », dont un certain nombre de ministres de Lionel Jospin : Martine Aubry, Dominique Strauss-Kahn, Jack Lang, etc. En revanche, il sort affaibli du référendum du 29 mai 2005 où la majorité des sympathisants socialistes a voté « non » selon les sondages effectués à la sortie des bureaux de vote.
Il sort partiellement renforcé du congrès du Mans, où sa motion obtient 53,71 % des suffrages exprimés lors du vote des militants, une majorité moins confortable que celles obtenues précédemment (84 % en 1997, 73 % en 2000, 61 % en 2003) mais beaucoup plus confortable que celles de François Mitterrand aux congrès d'Épinay (1971) et de Metz (1979), où la motion de la direction était en dessous des 50 %. Voulant mettre fin à un an de vives discussions puis de querelles dangereuses, François Hollande choisit de proposer une synthèse aux courants minoritaires, qui acceptent (mais Arnaud Montebourg se retire du courant NPS). Dans un discours de clôture très offensif, il réaffirme son autorité, se félicite « de l'unité retrouvée » et appelle son parti à se préparer pour [Élection présidentielle française de 2007[les élection présidentielle de 2007].