Следующими достижениями градоначальника были создание артели дворников, комиссий с впечатляющими названиями «О мерах против ведения подкопов» и «Об определении обязанностей полиции и дворников за наружным наблюдением домов». После того, как запретили ходить по тротуарам мимо дворцов, а их все окопали глубокими канавами, появились сомнения: всё ли в порядке с головой у градоначальника. Чтобы окончательно запугать царя, и без того напуганного, он писал ему: «Выезжаю только по требованию начальства, стараюсь нигде не показываться. Выехать в форме я уже не могу, а в штатском ещё не могу».
Терпение царского окружения лопнуло. Один из высокопоставленных чиновников записал в дневнике: «Никто не доверяет Баранову, все в нём видят шарлатана, и этот-то человек пользуется таким доверием государя. Выбор Баранова – это выбор Победоносцева». Скандального градоначальника убрали без шума, сократив его должность.
Но поскольку царь питал симпатию к Баранову, его назначили сначала архангельским губернатором, а затем нижегородским. На этой должности он пробыл пятнадцать лет. Получил звание генерал-лейтенанта. Вполне возможно, что его личность послужила основой для одного из персонажей градоначальников в «Истории одного города» М. Е. Салтыкова-Щедрина. В мае 1897 года он стал сенатором, а в 1901 году умер.