С храмом Всех Святых связаны большие споры местных краеведов. Сведения об этой церкви во всех изданиях рознятся. Не сходятся они и в документах XIX — XX веков, противоречат друг другу и старожилы.
Точной даты строительства церкви не установлено.Она была построена в период 1914-1917гг., либо на средства купца К.М.Сапожникова, либо на «народные средства». В это время уже была деревянная кладбищенская церковь, построенная еще в 1841 году. За ветхостью она была разрушена в конце 40-х гг. XX века. Таким образом более 20 лет на городском кладбище стояли одновременно две церкви. После разрушения деревянной, название «кладбищенская» осталось за каменной Всехсвятской, так иногда её называют и сейчас.
Точной даты освящения Всехсвятской церкви также неизвестно. Но в 1919г., по свидетельству очевидцев, она действовала, а значит, уже была освящена.Из воспоминаний Валентины Федоровны Дубовой: «Жизнь моей семьи связана с Всехсвятской церковью, сюда часто ходил дедушка, он был дружен со священником. В девушках в церковь ходила и мама, и я ребенком бывала на раз. Мы сами из Княжичей, но приход был здесь так же, как и у жителей Арефино, Слукино, Городищ. Колокольный звон с этой церкви я помню с детства, мы любили его слушать. Было несколько колоколов. Проводились в церкви христианские обряды, крещения, отпевания. В 1950 году здесь крестили моего сына».
Из воспоминаний Валентина Александровича Юницкого известно, что постоянного священника в церкви не было. По очереди здесь служили священники Благовещенского собора. Церковь Всех Святых была действующей до 60-х гг. XX века. В конце 80-х годов XX века здесь начались реставрационные работы на пожертвования верующих. В настоящий момент церковь Всех Святых – действующая.