Les papes s'établirent en Avignon en 1309 pour fuir les graves troubles politiques qui agitaient Rome. Le choix d'Avignon permettait à la Papauté de se réconcilier avec le roi de France auprès de longues années de tension. En outre, Avignon, proche des possessions papales du
Comtat Venaissin et propriété du Comte de Provence, allié du pape, constituait un emplacement idéal.
Devenue, avec Jean XXII (1316-1334), leur résidence permanente, Avignon accueillera en tout 7 papes.
La construction du palais débuta sous Benoît XII (1334-1342) avec l'édification d'une forteresse, le "Palais vieux", dont les lignes austères et majestueuses marquent encore le monument.
Son successeur Clément VI (1342-1352) adopte un style plus brillant pour l'extension du bâtiment au sud, le "Palais neuf", et achète en 1348 la ville d'Avignon à la Comtesse de Provence, la reine Jeanne de Naples. A la fin du règne d'Innocent VI, en 1362, la construction du palais est terminée.
La décision du pape Grégoire XI (1370-1378) de réinstaller la papauté à Rome, en 1376, provoque le Grand schisme. Après un siège de 5 ans, le pape Benoît XIII s'enfuit en 1403 et la papauté romaine l'emporte définitivement.
Le palais devient alors la résidence des légats puis des vice-légats des papes. Pillé lors de la révolution, il est transformé en caserne et en prison après le rattachement d'Avignon et du Comtat Venaissin à la France, en 1791.
Le palais est rendu par l'Etat à la commune en 1906.
La ville toute entière conserve l'empreinte du séjour des papes. Les remparts, édifiés à partir de 1355 par le pape Innocent VI, s'étendent sans discontinuité sur plus de 4,3 km. Subsistent également plusieurs oeuvres majeures du gothique provençal, notamment l'église Saint-Didier,
les livrées (palais) cardinalices et nombre d'anciens couvents.