През периода на Второто българско царство Червен е имал голямо военно-стратегическо значение. Разполагал е със сложна и надежна укрепителна система. Крепостните стени преграждали достъпа по всички достъпни направления, а на най-опасните участъци те били подсилени с бойни кули. Стените били високи около 10 м, а кулите – 12 м. Най-лесен бил достъпът от изток, където скалния рид се слива по-плавно с околния терен. В силно стеснения участък, в най-източния край на високия скален рид, той бил преграден с дебели стени, подсилени с 3 плътни кули. Тези стени били с дебелина около 3 м. В северния край на стената, фланкирана от две кули се намирала и главната порта на града, но до портата се достигало посредством стеснен проход.

На няколко метра зад стената се вижда, че е имало друга. Тя е била изградена от големи каменни блокове. Била е построена през ранно-византийския период, но е запазена и ползвана по-късно и в периода на Второто българско царство.

Въпреки добре изградената укрепителна система, градът е бил превземан и вероятно разрушаван неколкократно. Предполага се, че Червен е пострадал по време на татарското нашествие през 1242 г. Тогава са били опустошени процъфтяващите селища в Поломието. През втората половина на века също го сполетява подобна участ. Завзет е от византийска войска, воюваща с българския селски цар Ивайло. Фатално за града станало превземането му от османската армия през 1388 г. За това научаваме от историческите хроники. Тогава Червен е бил унищожен от пожар, потвърден и от археологическото проучване.