传说中，1128年的苏格兰国王大卫一世到爱丁堡西南方的森林狩猎，奇迹式地从一只狂暴野鹿的攻击死里逃生，于是同年国王为奥古斯丁教修建了一座修道院来感谢神的救命之恩。因此从那时起一只有十字型鹿角的鹿头像就作为这座修道院的象征。

这座修道院逐渐繁盛起来。随着爱丁堡成为苏格兰的首都，苏格兰国王选择了在这个有茂密的温带草木环绕的荷里路德作为其居住地，而放弃了原来阴冷的宫殿。1501年，苏格兰国王詹姆斯四世下令清理靠近修道院附近的大片空地，为他和他的新娘--玛格利特.杜铎（亨利八世的妹妹）建造一座宫殿。他的继承者詹姆斯五世于1528年-1532年之间为宫殿加上了一座雄伟的高塔，并在1535年-1536年在塔的南面扩建了宫殿的西翼。1650年英国资产阶级革命时,这座王宫遭到严重破坏, 1671年又进行了重建。

介绍荷里路德宫，不能不提起在这里度过了六年悲惨的生活的玛丽女王（1542-1587）。玛丽女王，据说是当时欧洲最美丽的女人，也是一个充满传奇色彩、在史学界极富争议性的人物。有人视其为精通多国语言及绘画、音乐、诗歌，历尽世事的悲剧人物，也有人视其为通奸者、杀人犯等等。玛丽15岁嫁至法国王室，19岁丈夫去世后又回到苏格兰，在民众拥戴中登上王位。但她最终遭到苏格兰民众驱逐，着男装逃出苏格兰，投奔当时的英格兰女王伊丽莎白以寻求庇护。在被伊丽莎白幽禁19年后，却因与当时西班牙王朝密谋暗杀伊丽莎白而被斩首。

每年夏季,这里是英国女王的行宫，同时在特定的日期荷里路德宫向公众开放，游客可以在这里观赏到苏格兰历代王朝的文物和大量精美的苏格兰王室画像，细细品味苏格兰王室在这里的悠久历史。