Изначально на месте Брестского замка располагалось городище. Расположение было чрезвычайно выгодным с точки зрения военной обороны - на высоком мысу, там, где река Мухавец впадает в Западный Буг. Неудивительно, что вскоре на месте городища вырос замок треугольной формы размерами 234 х 187 х 234, отделяемый с юга дугообразным рвом от всей остальной прилегающей территории. В середине XIIIвека оборонительные сооружения Брестского замка были укреплены каменной башней, которая простояла вплоть до начала ХIX века.
Из-за своего выгодного местоположения Брестский замок часто оказывался в гуще политических и военных событий. Известно, что после того как в 1282 году Брестский воевода Тит отбил очередное нападение Мазовшан, Брестский замок попал в долгую череду военных столкновений между литовскими князьями и польскими королями. К середине XIV века Брест начинают беспокоить крестоносцы, которые в 1334 году ненадолго овладели замком. В 1337-ом году Брест переходит к князю Кейстуту, затем в 1348-ом он отходит к полякам и лишь в 1366-ом году, после того как Кейстут вновь его вернул, город окончательно закрепляется за литовскими князьями.
В декабре 1409 года в замке прошла тайная встреча великого князя литовского Витовта и польского короля Ягайло. Именно там был разработан план Грюнвальдской битвы. Всего же с 1446 по 1569 год замок семнадцать раз становился местом проведения государственных сеймов Великого княжества Литовского. Кроме того, в нем регулярно проводились собрания местной шляхты и заседания суда.
Детальных описаний Брестского замка до наших дней не дошло, из описаний староства Берестейского в 1566-ом году известно лишь то, что у замка было пять башен и брама. В башне, которая стояла со стороны реки Мухавец, имелось круговое бланкование, а в старой браме «с ганком на верху» висел ратный колокол – «Звон великий». В цейхгаузе было металлических доспехов на 100 человек, одна мортира, 12 пушек, 96 гаковниц, 7 железных «Киев», 360 железных ядер, болты для арбалетов и прочее. За оружием и оборонительными сооружениями присматривали специальные слуги и замковые ремесленники: пушкарь, плотник, кузнец, платнер, каменщик.
В этих же описаниях указывается о наличии специального насоса для скрытой подачи воды по трубам в Брестский замок. Водяные помпы приводились в действия большим колесом водяного «Млына». С его помощью могла работать, и механическая ступа для толчения пороха. За обслуживание водяного насоса Брестского замка следил специальный мастер – рурмистр.
В мирное время на замок выделялось ежедневно по 12 сторожей и по 12 кликунов. Защита замка и города лежала на плечах мещан и жителей волости. В военное время в замке размещался дополнительный контингент войск. Так во время Ливонской войны в июле 1566-го года здесь находилась рота в составе 600 конников.
Общую систему обороны Бреста на ряду с замком дополняли и городские укрепления. Основная часть городских кварталов находилась напротив замка и выгодно размещалась на островах, огибаемых двумя водными рукавами реки Мухавец. Город был обнесен земляным валом с парканом, стоящим на нем. С восточной стороны, перед валом, имелся ров, заполненный водой. Эта линия обороны имела как минимум четверо ворот. Перед каждыми воротами был мост.
С середины XVIIвека, из-за частых войн, замок часто разрушали и не успевали достраивать в промежутках между войнами. И к началу строительства Брестской крепости в 1833 году остатки замковых укреплений окончательно уничтожают, а на их месте возводят волынское укрепление.