Město Brandýs nad Orlicí v malebném údolí Tiché Orlice vzniklo na přelomu 13. a 14. století, když byl na strmém ostrohu vystavěn hrad. Jedním z majitelů panství byl rod Trautmansdorfů, kteří nechali vystavět zámek a pozdně barokní kostel Nanebevstoupení Páně.  Do české historie se město zapsalo v souvislosti se vznikem jednoty bratrské. Roku 1474 tady zemřel a byl pochován jeho zakladatel bratr Řehoř. Útočiště v Brandýse nalezl i Jan Amos Komenský pod ochranou brandýského rodáka Karla staršího ze Žerotína a zde napsal svůj slavný „Labyrint světa a ráj srdce", který připomíná první přírodní labyrint v Čechách vybudovaný v blízkosti jeho pomníku v Klopotech.

Mezi nejvýznamnější památky Velké Bystřice patří areál zámku, tvořený jednak budovou zámku s přístavbami objektů bývalé sladovny pivovaru a jednak zámeckým parkem. Dnešní renesančně-barokní podoba vznikala postupnými přestavbami zámku, který zde byl vybudován na sklonku 16. století přestavbou původní tvrze. Bystřická tvrz se prvně připomíná roku 1381, kdy ji spolu s dalším majetkem kupuje výše zmíněný Václav z Doloplaz a dává tak základ vlastnické celistvosti panství. Malý renesanční zámek postupem času nestačil potřebám vlastníků, a proto došlo na sklonku 17. století a v 1. polovině 18. století k jeho postupnému rozšiřování o barokní přístavby.

Majitelé koryčanského panství od středověku sídlili na hradě Cimburk, který ležel v kopcích daleko za městem a tak postupně přestal šlechtě vyhovovat, jelikož začala požadovat pohodlnější podmínky k životu. Z tohoto důvodu začala Anna Bánffy s výstavbou tvrze se dvorem, ale hradu Cimburk zůstala jeho funkce coby správního střediska a v případě nebezpečí se sem přesunoval dvůr z Koryčan, což bylo velice aktuální v průběhu třicetileté války. Nové sídlo na kopci za farou bylo dobudováno kolem roku 1603 a o 30 let později k tvrzi byla přistavěna kaple. Pro své větší rozměry byla tvrz nazývána v 17. století zámkem i proto, že již byla sídlem cimburského panství, ale i tato budova přestala čím dál více náročnější šlechtě stačit. Proto dal po roce 1677 František Gabriel Horecký vybudovat na jejím místě barokní zámek, skládající se ze dvou křídel.​