Město Brandýs nad Orlicí v malebném údolí Tiché Orlice vzniklo na přelomu 13. a 14. století, když byl na strmém ostrohu vystavěn hrad. Jedním z majitelů panství byl rod Trautmansdorfů, kteří nechali vystavět zámek a pozdně barokní kostel Nanebevstoupení Páně.  Do české historie se město zapsalo v souvislosti se vznikem jednoty bratrské. Roku 1474 tady zemřel a byl pochován jeho zakladatel bratr Řehoř. Útočiště v Brandýse nalezl i Jan Amos Komenský pod ochranou brandýského rodáka Karla staršího ze Žerotína a zde napsal svůj slavný „Labyrint světa a ráj srdce", který připomíná první přírodní labyrint v Čechách vybudovaný v blízkosti jeho pomníku v Klopotech. Rehabilitační ústav Brandýs nad Orlicí s lázeňskou historií, pamatující i T.G.Masaryka, v současné době poskytuje komplexní rehabilitační péči pacientům s onemocněním pohybového aparátu.

Majitelé koryčanského panství od středověku sídlili na hradě Cimburk, který ležel v kopcích daleko za městem a tak postupně přestal šlechtě vyhovovat, jelikož začala požadovat pohodlnější podmínky k životu. Z tohoto důvodu začala Anna Bánffy s výstavbou tvrze se dvorem, ale hradu Cimburk zůstala jeho funkce coby správního střediska a v případě nebezpečí se sem přesunoval dvůr z Koryčan, což bylo velice aktuální v průběhu třicetileté války. Nové sídlo na kopci za farou bylo dobudováno kolem roku 1603 a o 30 let později k tvrzi byla přistavěna kaple. Pro své větší rozměry byla tvrz nazývána v 17. století zámkem i proto, že již byla sídlem cimburského panství, ale i tato budova přestala čím dál více náročnější šlechtě stačit. Proto dal po roce 1677 František Gabriel Horecký vybudovat na jejím místě barokní zámek, skládající se ze dvou křídel.​