Poměrně velký a pevný hrad dal koncem 13. století postavit Jindřich z Brandýsa, který pocházel ze saského Brandisa. Za Pernštejnů roku 1507 byl hrad pobořen. Přírodní labyrint a pomník J.A. K pobělohorské době Karla Staršího ze Žerotína Brandýs se stal útočištěm bratrských kněží a v letech 1622 - 1625 zde napsal své nejznámější dílo Labyrint světa a ráj srdce slavný pedagog a filozof Jan Amos Komenský. Románská rotunda sv. byla založena v 1. Kostel a fara, rozsáhlá klasicisní stavba z let 1794 - 1801 postavená podle plánů lichtenštejnského stavitele J. Hardtmutha.
Postaven v místech staršího kostela, který vyhořel v r. 1636, v r. 1708 postavena v místech kostela kaple Srdce Ježíšova, která vyhořela v roce 1746. Další kostelní stavba předcházející dnešní kostel vyhořela v r. 1793. Budova děkanství (čp. v sousedství kostela - pozdně barokní stavba z let 1783 - 1786). Stará radnice - postavená v polovině 16. století. Stavbu připomíná deska s erbem Bohdaneckých z Hodkova (stavebníkem byl Petr Bohdanecký) a letopočtem 1547 nad vchodem do objektu. Budova byla mnohokrát přestavěna.
Na levém břehu Třebovky rozloženého kolem pravidelného náměstí je památkou na vznik kolonizačního města v 2. polovině 13. století. Z měšťanských domů v historickém jádru města je nejcennější dům čp. 11 (vyústění Klácelovy ul. do náměstí) - klasicistický z r. 1804. Před radnicí vrcholně barokní mariánský sloup z počátku 18. století.
Před levým břehu Třebovky je další sakrální a sochařská výzdoba města. Plastiky před kostelem sv. Kateřina z r. 1717, opravována 1928, sv. Barbarora z r. 1719 a sv. Jan Nepomucký z r. 1712. Všechny tyto barokní plastiky pocházejí z dílny F. M. Brokoffa. Před jižním vchodem do kostela klasicistické sousoší Kalvarie z r. 18. století.
Na Horách na jihozápadním okraji města - empirová stavba z let 1811 - 1838 v sousedství bývalých lázní, které vznikly na základě pověsti o léčivých účincích zdejšího pramene. Tato stavba nahradila starší kapli postavenou v roce 1744, která vyhořela v roce 1787. V roce 1869 byl postaven dodnes stojící hostinec s pamětní deskou připomínající pobyt Boženy Němcové v roce 1847.
Na jihozápadním okraji města je socha Šárky od sochaře Quido Kociána z konce 19. století. Venku stojí vesnická roubená kaple se zvonicí z roku 19. století. Chalupa čp. 95-98 ukazuje lidovou architekturu z přelomu 18. a 19. století. Ve štítě chalupy originální malba M. Švabinského. Kaple sv. Lékoslava Korába z 19. století.
Portálové a kaplové skulptury doplňují městský panoramatický obraz. Kostel sv. Kaple Panny Marie je pseudogotická poutní kaple v blízkosti studánky na horním toku Končinského potoka z 1. poloviny 19. století. Přestavěna v r. 1819. Kostel sv. X má gotický původ ve 2. polovině 14. století a byl barokně upraven kolem r. 1700.
Kostel sv. Cyrila a Metoděje - s patronem sv. Cyrila a Metoděje - založený na přelomu 13. a 14. století, nachází se ve střední části obce. Na dvoustupňové podestě je umístěna kaple s reliéfy světců a s litinovým krucifixem s nápisem, který připomíná, že tento svatý kříž byl vyzdvižen z pomocí Boží. Doba vzniku sahá do 18. století.
Kostel sv. Václava a Kříž z roku 1864 s relacemi na zadní straně podstavce naznačují, že místní obyvatelé dlouho udržovali tradice procesí k posvátným místům. Před domem čp. 174 stojí socha sv. Václava z počátku 18. století. Před kostelem stojí socha sv. Trajtíka a svatých.
Románská rotunda sv. Z architektonických detailů vyplývá, že hrad ztrácel rezidenční funkci v 16. století. V roce 1588 byl charakterizován jako zámek, avšak areál postupně pustl. Dnes se zachovala jen část plášťové zdi a sklepy paláce, který k této zdi přiléhal.
Na náměstí domy kolem jsou převážně z 18. a 19. století, s klasicistními a barokními prvky. Uprostřed náměstí je sloup se sochou Panny Marie z roku 1737. Skupina domů s podloubím v ulici Mistra Kociána dotváří renesanční a empirové prvky městské architektury.
Podkovovité detaily a historické desky připomínají výstavbu kolonizačního města v 2. polovině 13. století a následné změny v 17.-19. století. Dnešní podoba radnice, děkanství a dalších domů často odráží historické přestavby a rekonstrukce po požárech či válkách.