Лидский замок построили по приказу Великого князя Литовского Гедемина в 20 – 30 годах XIV столетия. Он был заложен в месте слияния рек Каменки и Лидеи, на песчаной насыпи высотой около 5-ти метров. Дополнительные трудности для врагов создавали окружавшие замок болотистые берега рек. Кроме того, на северной стороне был выкопан ров, шириной 20 метров, он отделял Лидский замок от города.
В плане замок представлял собой неправильный четырехугольник со сторонами 93,5 x 83,5 x 80 x 84 метров с двумя башнями, расположенными по диагонали. Фундамент стен был сделан из валунов, уложенных горизонтальными рядами, кирпич поверх валунов укладывали согласно балтийской технологии. Высота стен достигала 12 метров с толщиной в нижней части два метра, вверху 1,5 метра. Завершались они боевой галереей с бруствером толщиной 0,7 метра. Помост галереи опирался на деревянные балки. Бескамерные бойницы, имевшие в плане форму подобную трапеции, своей широкой основой были повернуты в сторону замкового двора. При одинаковой высоте бойницы имели три варианта ширины и чередовались в стене через каждые 2,4 метра. Изначально они предназначались для стрельбы из луков и арбалетов, а поздней их использовали и при обстреле легким огнестрельным оружием.
Ворота в Лидском замке находились в восточной стене, ближе к её северному углу. Одни ворота были поменьше, высотой в 3 метра и шириной в 2,5 метра, вторые ворота - побольше, высотой 6 метров и шириной 4,5 метра. Верхняя часть обоих ворот была выполнена в виде арки. Самые большие имели нишу выстой 2,5 метра, которая выходила за стены, это свидетельство того, что ворота имели мост, предзамковая часть которого скорее всего была подъёмной.
Первая юго-западная башня Лидского замка в плане имеет форму квадрата с длиной стен 11,3 x 11,3 метра. Вторая башня находится по диагонали в северо-восточном угле. План ее напоминает немного перекошенный прямоугольник с длиной стен 12 x 12,5 x 12,3 x 12,15 метров. Башня имела арочный вход со стороны двора и лестницу шириной в 1 метр, встроенную в западную стену с деревянными ступеньками.
Лидский замок был важным элементом в системе обороны ВКЛ от крестоносцев. После смерти князя Гедемина им владел его сын князь Ольгерд. С момента подписания Кревской унии он стал обеспечивать отношения между двумя столицами, Вильно и Краковом. В этом замке в присутствии влиятельных особ ВКЛ и Польши в 1387-ом году происходила церемония присяги Скиргайлы, как наместника великого князя своему брату Ягайле. Тут же Ягайло подписывал важные документы, связанные с крещением Литвы, а в 1422 году праздновал здесь после венчания в Вильно свой брак с Софьей Гольшанской. В 15-16 веках замок продолжал оставаться одной из великокняжеский резиденций и самым важным структурным элементом города.
Из-за своего стратегического местоположения Лидский замок часто подвергался нападениям крестоносцев, особенно часто крестоносцы нападали во время междоусобной войны Витовта и Ягайло за власть в ВКЛ. Свою стратегическую и общедержавную значимость замок потерял на границе 16-17 столетия. После штурма и частичного разрушения московскими войсками в 1659 году, а потом шведами в 1700 году, он постепенно начал превращаться в руины.