Мирский замок является классическим представителем типа «Кастель». Его строительство в готическом стиле было начато маршалком надворным Юрием Ильиничем в 20-е года XVI века. Замок должен был стать родовой резиденцией, наличие которой помогло бы получить графский титул. Была и еще одна причина строительства: частые татарские набеги и магнатские междоусобицы весьма осложняли жизнь, нужна была крепость.
В строительном плане Мирский замок имел форму неправильного четырехугольника размером 60 x 60 метров. Стены толщиной 2,5 метра и высотой до 13 метров, а с наружной стороны выступали пятиярусные башни по углам и одна башня-ворота в западной стене. Южная и западная стороны завершались боевой галереей. К восточной стене был пристроен дворец, а к северной - арсенал. Северная и восточная стороны внизу имели бойницы для мушкетного огня, а наверху располагалась дворцовая часть. Возле башни, в которой располагались ворота, на стенах были сделаны машикули (навесные бойницы, они обычно находились в верхней части башен и крепостных стен) для бросания камней и литья кипятка или горячей смолы на врага.
Башни имели форму восьмиугольника, стоящего на четырёхугольнике. Данный стиль оборонительной архитектуры был популярен в Европе в XV – XVI вв. Для большей художественной выразительности башни переходили от одной формы к другой на разной высоте, а крыши, покрытые сплюснутой черепицей, имели красивую вытянутую готическую форму. Расчет при постройке был точен, при таком расположении башен можно было вести не только фронтальный, но и фланговый огонь, а кроме того, они представляли собой автономные боевые узлы с бойницами со всех сторон для кругового обстрела на случай, если враг прорвётся в замок.
Северо-западная и северо-восточная башни имели размер 10 х 10 метров, на каждом ярусе у них было от шести до восьми бойниц. У юго-западной и юго-восточной башен размер в плане составлял 12 х 12 метров, дополнительно их планировали использовать как жилые помещения и поэтому укрепили в верхней части машикулями. На нижних ярусах перекрытия были каменные, а на верхних использовали дерево. Западные башни замка, в отличии от остальных, располагались друг к другу близко, что с оборонительной точки зрения не очень удобно, поскольку снижается угол обстрела и непосредственно ухудшается сам обзор.
Толщина стен башен Мирского замка была от 1,5 до 3 метров. Внутри каждой из них круговые лестницы шли до самого верха, лишь только в башне-воротах круговая лестница доходила до 3 яруса.
В лучшем состоянии до наших времен сохранилась юго-западная башня. Первый, четвертый и пятый этаж ее предназначался для стрелков ручного оружия, об этом свидетельствует форма бойниц. На первом этаже их семь, на четвертом – четыре, на пятом – восемь. Второй этаж первоначально был предназначен и для стрелков ручного оружия, но потом был переделан для установки тяжелых гаубиц и пушек-фоглеров. Заметно отличается от всех остальных третий ярус. Он значительно выше и имеет три большие бойницы для пушек, из них было лучше целиться на дальние расстояния и проветривать ярус от дыма после пушечных выстрелов.
Форму юго-западной башни Мирского замка определяет специфика использования оружия на каждом ярусе. Поскольку третий был предназначен для стрельбы из пушек, у него, разумеется, были большие бойницы. Именно поэтому, до этого уровня, башня имеет четырёхугольную форму, затем она переходит в восьмиугольник. Такой переход позволял увеличить сектор обстрела и, более того, исключить "слепые", неприкрытые зоны обороны. На юго-западную похожи и две другие башни юго-восточная и северно-западная.
Четвёртая угловая северо-восточная башня значительно отличается от трёх других. Тут переход от четырехугольника к восьмиугольнику происходит уже на уровне третьего яруса, и бойницы в ней самой небольшие, что позволяет сделать следующий вывод: эта башня предназначалась только для ведения огня из ручного оружия. Кроме того, она значительно декорирована по сравнению с остальными, поэтому ее, вероятно, использовали и для жилья.
Башня-ворота по форме и оформлению напоминает северо-восточную башню, ее размеры 12 х 12 метров. Первый ярус - ворота, на втором располагалась каплица, все остальные предназначались для обороны и имели бойницы для стрелков ручного оружия. Переход от четрыехугольной формы к восмиугольной здесь происходит на третьем ярусе.
В 1568-ом году от обедневшего рода Ильиничев Мирский замок перешел во владения к Николаю Христофору Радзивиллу Сиротке. По приказу Радзивилла замок был переделан в загородную резеденцию итальянского типа. Вокруг замка возвели земляные бастионы, которые окружал вырытый ров с перекинутым через него мостом на северной стороне. Именно в этот период пристраивают к северной и восточной стене дворец в ренессансом стиле, а на стенах появляются боевые галереи и пробиваются дополнительные отверстия для окон. На севере от бастионных укреплений закладывают регулярный парк в итальянском стиле, а на востоке - фальварок и замковый огород. К башне-воротам пристраивают полукруглое предбрамье, а над каплицей вставляют часы с колоколами .
За время своего существования Мирский замок не раз подвергался штурмам и осадам. В 1655 и 1706 году он значительно пострадал от нападения шведских войск. В 1792 году был захвачен российским войсками под командованием А.В. Суворова. Но наибольшие разрушения принесла война 1812 года, тогда была взорвана северно-восточная башня, разрушен дворец и повреждены земляные валы.