A palota előzménye Károly Róbert városi háza volt. Komoly palotává csak I. Lajos fejlesztette uralkodása első felében. A romjaiban ma is álló épületeket még szintén I. Lajos kezdte meg építeni élete végén de már csak utódai: Mária és Zsigmond fejezték be a XIV. század végén. A XV. század első évtizedéig, míg Zsigmond az udvarát Budára nem költöztette, a visegrádi királyi palota maradt a magyar uralkodók hivatalos székhelye. A XV. században háttérbe szorult palotát csak Mátyás állítatta helyre a XV. század végén. Ettől kezdve, az 1544-es török hódításig a magyar királyok vidéki rezidenciája volt. A török időkben rommá vált épületet a XVIII. század közepén lebontották. 1934 óta folyó feltárása és helyreállítása során maradványait múzeummá alakították.

A palotakápolna felújítása során a hajóban újrarakták a régi téglapadlót, a szentélyben viszont mázas lapokból álló új burkolatot fektettek le.

A palota északi oldalához a palotáéval azonos alapterületű, fallal övezett kert csatlakozott. Az északkeleti palota mellett kis körülkerített virágoskert épült. Az alatta elterülő nagy gyümölcsöskert közepén vörösmárvány fiálékút állt. A kút felett a hegyoldalt teraszosan művelték meg. Az alsó lapos részen egy ásott kutat is építettek. Ennek feltárásakor számos olyan növényi maradvány előkerült, amely a kert egykori gyümölcsfáiról, szőlőiről, virágairól árulkodik. A kertet északról egy nagyméretű kőépület, talán a palota istállója zárta le.

Az újjáépült királyi palota területén kívül rekedt régi, Szt. Györgynek szentelt királyi kápolnát Zsigmond király az obszerváns ferenceseknek adományozta és mellé házat építetett számukra. 1425-után új kolostort és egy Szűz Mária templomot építtetett.

Anjou kori épületek helyén emelték Zsigmond király korában a kaputoronytól délre elterülő konyhaépületet. A központi nagy konyhában két hatalmas nyitott tűzhely és egy sütőkemence kapott helyet.