A palota előzménye Károly Róbert városi háza volt. Komoly palotává csak I. Lajos fejlesztette uralkodása első felében. A romjaiban ma is álló épületeket még szintén I. Lajos kezdte meg építeni élete végén de már csak utódai: Mária és Zsigmond fejezték be a XIV. század végén. A XV. század első évtizedéig, míg Zsigmond az udvarát Budára nem költöztette, a visegrádi királyi palota maradt a magyar uralkodók hivatalos székhelye. A XV. században háttérbe szorult palotát csak Mátyás állítatta helyre a XV. század végén. Ettől kezdve, az 1544-es török hódításig a magyar királyok vidéki rezidenciája volt. A török időkben rommá vált épületet a XVIII. század közepén lebontották. 1934 óta folyó feltárása és helyreállítása során maradványait múzeummá alakították.

A palotakápolna felújítása során a hajóban újrarakták a régi téglapadlót, a szentélyben viszont mázas lapokból álló új burkolatot fektettek le.

A palota északi oldalához a palotáéval azonos alapterületű, fallal övezett kert csatlakozott. Az északkeleti palota mellett kis körülkerített virágoskert épült. Az alatta elterülő nagy gyümölcsöskert közepén vörösmárvány fiálékút állt. A kút felett a hegyoldalt teraszosan művelték meg. Az alsó lapos részen egy ásott kutat is építettek. Ennek feltárásakor számos olyan növényi maradvány előkerült, amely a kert egykori gyümölcsfáiról, szőlőiről, virágairól árulkodik. A kertet északról egy nagyméretű kőépület, talán a palota istállója zárta le.