Kongen og hans rådgivere kløede sig i skæget og tænkte så det knagede. Til sidst var heldigvis én der råbte: ”jeg har en idé! ”. Alle blev helt stille. De var lutter øren og meget spændte på, hvad det mon var for en idé. Og I kan tro, at det var en rigtig god én.
Sagen var nemlig den, at der i nærheden af Skanderborg, som faktisk slet ikke var blevet til en by endnu, lå et gammelt munkekloster. Et munkekloster er sådan et sted, hvor der kun må bo mænd, som tror på, og arbejder for Gud hele dagen lang. Og nu var det sådan, at der ikke længere boede en eneste munk på klosteret, som derfor var helt tomt og ubrugt. Så ham der havde fået idéen sagde, at: ”fordi klosteret ikke længere bliver brugt, kan kongen jo bare bestemme, at det skal rives ned. Og så kan han genbruge de gamle fine røde mursten til det nye slot”.
Og det gjorde kongen. Han beordrede at klosteret skulle rives ned, og at et stort slot skulle bygges af genbrugsmaterialer. Så sådan gik det til at det store kongeslot blev bygget, og her tilbragte kong Frederik, hans kone Dronning Sofie og deres syv børn meget tid med f.eks. at gå i kirke, tage på jagt eller sejle i Skanderborg Sø.