Ермолов тогда же побывал и на Горячих Водах, проявив живой интерес к их благоустройству и дальнейшему развитию. Он распорядился снести прежнею убогую купальню, а на уступе Горячей горы выстроить новое ванное здание. Оно получило название Ермоловского и просуществовало до 1874 г. Он остался недоволен попустительством губернского архитектора Мясникова самовольной застройке курорта домами Чернявского, Вишневского и др. в ущерб общему плану его благоустройства. Самое же главное, что предпринял "Проконсул Кавказа" (так называл он себя сам по аналогии с наместниками римских цезорей) – распорядился перевести в Константиногорскую крепость штаб-квартиру Тенгинского пехотного полка, который затем сыграл исключительную роль во всём новом строительстве на Горячих Водах.
К тому времени крепость уже пришла в ветхое состояние. Для помещения офицеров в ней было 4 ветхих бревенчатых дома под камышом. Солдаты размещались в 7 казармах, каждая из которых состояла из двух больших комнат, разделенных сенями. В отдельных зданиях размещалась канцелярия полка и лазарет. Полковое и ротное имущество хранились в 3 громадных цейхгаузах. В крепости постоянно находились две роты 3-го батальона, которым командовал прославленный на Кавказе майор И. А. Курило, которого А. С. Пушкин намеревался, как кавказского героя, вывести в "Романе на Кавказских Водах".
"Унылый вид представляла из себя штаб-квартира полка с ветхими покосившимися постройками,- писал Д. В. Ракович в книге "Тенгинский полк на Кавказе" (Тифлис, 1900), - от частых и сильных ветров камышовые крыши местами были раскрыты. Потолки и полы… совершенно сгнили, печи требовали исправления, стекли в окнах все почти были перебиты. Ветер свободно гулял по воем помещениям, увеличивая число простудных больных". В казармах было удручающе тесно. Из-за этого солдаты принуждены были большую часть дня и ночи проводить под открытым небом, укрываясь во время сна ветхими и худыми шинелями. Много сил потребовало исправление валов и батарей, укрепление вотор и заделка образовавшихся еще недавно грозных в стенах крепости проходов. Множество тенгинцев страдало цынгой, чахоткой, горячкой, лихорадкой, воспалением лёгких. Не удивительно, что за первые три года пребывания здесь полк в боях с горцами потерял 8 человек, а от болезней – 1045.
На плечах тенгинцев была вынесена и вся тяжесть работ по благоустройству Горячеводского поселения. За те годы пока штаб-квартира полка находилась в Константиногорской крепости, тенгинцы участвовали в сооружения здания "Ресторация*, Николаевского ванного здания, Дома для неимущих офицеров, Оборонительной казармы на Горячей горе и пр. Летом во время "курса" они поддерживали чистоту в ваннах, обслуживали гостиницы, несли конвойную службу при переездах посетителей с одних вод на другие, стояли на военных постах. Тенгинский волк прибыл в Константин егерскую крепость в ту пору, когда её военное значение изменилось, начало сходить на нет. При Ермолове кардонная линия распространилась ближе к Кавказскому хребту, возникли ноже укрепления в Кабале, возведены крепости в Нальчике, Баксанском ущелье, на р.Малке, Чегеме, Череке. От Кисловодска наши военные посты доходили почти до самого Эльбруса. Ермолов провёл переселение хоперских казаков на р. Кубань, учредил там новые казачьи станицы, созвал новую коронную линию по Подкумку со станицами Горячеводской, Ессентукской, Кисловодской. Станицу Горячеводскую заселили 250 семьями волгских казаков, переселённых из станицы Георгиевской. Каменная ограда станичной церкви с 80 бойницами и 4 воротами в случае военного нападения горцев могла служить оборонительным пунктом, подменив собою утратившую прежнюю роль Константиногорскую крепость ввиду перемещения центра в курортный поселок Горячеводск, как его первым прозвал профессор А.П.Нелюбин. Уже в 1820г. герой Отечественной войны 1812г., генерал Н. Н. Раевский приметил в расположенном в 2 улицы поселении 60 домов, домиков и лачужек. С галереи Ермоловских ванн и с видовой площадки каменной лестницы он любовался забавным видом нового поселения и песетой одеяния его жителей – "смеси калмыков, черкес, татар, здешних казаков, здешних жителей и приезжих. "Всё это, - замечал он, - под вечер движется, встречается, расходится, сходится".