狄仁傑的一生功績無數，拆毀了1700多座淫祠也是利國利民的好事，他本人沒啥毛病，但是狄公家門不幸，出了一個不爭氣的兒子，狄仁傑兒子狄景暉的貪婪殘暴，讓老百姓們憤恨不已，子不教父之過，於是，百姓們便順手拆了狄仁傑的祠堂。
一、淫祠屬於封建迷信，危害過大
在古代，祭祀和打仗是國家最重要的兩件事，《祀典》規定了應該祭祀的神祇、祖先、賢臣，而在《祀典》之外的「毛神」或者「奸臣」之類，都被視為淫祠，這些淫祠屬於嚴重的封建迷信，對百姓沒有好處。
有很多心懷不軌的人，經常私設祠堂廟宇，供奉來路不明的東西，藉此騙取民眾的財務，影響百姓的思想和生活，而且他們還會對百姓洗腦，影響社會秩序，歷代帝王都會大力拆毀淫祠。而狄仁傑一口氣拆毀了1700多座淫祠，屬於規模最大的一次。
二、百姓心中「淫祠」仍存
雖然狄仁傑雷厲風行地拆毀了1700多座淫祠，但是百姓的迷信思想仍未破除，「淫祠」仍然存在於一部分百姓心中。祠堂雖然被拆毀了，但是百姓的思想已經被改變了，他們又偷偷地修建新的祠堂，捲土重來，打擊淫祠的效果並不好。
在科學落後的古代，人們的思想並未得到解放，一部分人仍然堅持供奉奸惡之人，比如在安祿山的老家，還有人把安祿山和史思明奉若聖人，修建「二聖祠」，供奉反抗朝廷的叛黨。由此可見，百姓心中的「淫祠」難以拆毀。
三、坑爹兒子狄景暉連累父親
狄仁傑的祠堂被拆的直接原因，還是因為他的兒子——狄景暉。根據《舊唐書》的描述，狄仁傑的兒子是魏州的參軍，他貪財又殘暴，被百姓們所厭惡，點燃了大家心中的怒火。
但是老百姓不敢公然與官府對抗，只好拿他老爸的祠堂撒氣，於是狄仁傑的祠堂就被憤怒的百姓給拆毀了，可悲可嘆狄公英明一世，死後卻被不爭氣的兒子連累。