苗栗文昌祠創建於光緒8（1882）年，也曾是書院、縣衙臨時辦公室、文人詩社，見證苗栗政治與文化的發展，民國74（1985）年被列為苗栗縣定古蹟。苗栗地方耆紳於光緒8（1882）年倡議建祠，請來地理師依「戌山辰向」方位起建，10（1884）年請文昌帝君入祠；15（1889）年苗栗設縣，縣衙完工前，縣吏在此辦公一年之久，使該祠成為苗栗縣府發祥之地，同年也在祠內倉頡廳創設「英才書院」；昭和2（1927）年，苗栗詩社成立，設址於文昌祠內，有春秋兩季詩人大會，詩風盛極一時。 文昌祠坐西北朝東南，現為三開兩進兩廊合院式廟宇建築，整體採石木構造，石雕、木雕、彩繪精緻多樣，保留豐富的傳統藝術作品。祠廟初建左右有16間廂房，昭和10（1935）年大地震嚴重受創，因經費有限只重建右廂房，左廂房原址被規劃為市場用地，後右廂房也租給商家使用無法收回，造成現只有正殿無廂房的局面。