Витебский замок был построен на левом берегу Двины при впадении в неё реки Витьба. Он состоял из двух частей, верхней и нижней, с общей длиной 300 метров и шириной 150 метров. В восточной части на горе (высотой приблизительно 15 метров и ровной площадкой наверху размером в 0.7 га) размещался Верхний замок. Эта часть горы и была первоначально укрепленным центром Витебска, где в VI-IX вв. размещалось городище Кривичей, а в X - первой пол. XIV вв. на данном месте был основан деревянный детинец, возле которого на мысе, при впадении Витьбы в западную Двину, располагался окольный город.
В 1320 году Витебск вошел в состав ВКЛ, перейдя по наследству к сыну Великого князя Литовского Гедемина Ольгерду, который был женат на Марии Ярославне, дочери последнего удельного князя Витебска Ярослава. С этого момента на Витебский замок была возложена важная стратегическая роль в восточной политике ВКЛ, поэтому Ольгерд приказал построить каменные укрепления. Строительство началось в 30-х годах XIV века и закончилось в 1351-ом году уже под управлением второй жены Ольгерда Ульяны Тверской. Каменные стены строились по периметру старого детинца и прилегающего города, в итоге образовав единую оборонительную систему, состоящую из Верхнего и Нижнего замков.
Нижняя часть стен возводилась из больших камней-валунов, а уже поверх них велась кирпичная кладка как в Кревском и Лидском замках. Стены вглубь уходили всего на 0.5 метра, однако за счет толщины и внутреннего деревянного каркаса, состоящего из семи рядов хвойных бревен, заполненного глиной, они были весьма крепки и устойчивы. Заканчивались стены боевой галерей с зубцами и имели общую протяженность 688 метров.
Основу оборонительных сооружений Витебского замка составляли восемь каменных многоярусных башен, в том числе: большие ворота со стороны Нижнего замка, ворота, выходившие на Двину, и ворота - на Витьбу. В плане трехъ- четырехъярусные башни были 7 х 7 и 8,8 х 8,8 метров с 3-х метровой толщиной стен в основании. Все они выходили за стены, что позволяло вести фронтальный и фланговый обстрел по прилегающей территории.
Наряду с башнями, входившими в линию замковых стен и представлявшими собой самостоятельные оборонительные элементы, имелись дополнительные выступы из стен, которые обычно не были замкнуты с внутренней стороны и не превышали по высоте замковые стены. Эти выступы не исполняли самостоятельной оборонительной функции, а только лишь использовались для дополнительной фланговой атаки по врагам. В итоге Витебский замок представлял из себя оборонительную фортификацию, по форме похожую на обрезанную пирамиду.
Несмотря на свою мощь, построенные в середине XIV века каменные укрепления Витебского замка просуществовали в первоначальном виде недолго. В виду своего местоположения Витебск часто подвергался нападениям, поэтому уже к концу столетия они были сильно повреждены во время борьбы за власть в ВКЛ между Витовтом и Ягайло. В 1437-ом году, во время осады города войсками Великого князя Литовского Сигизмунда Кейстутовича, каменные укрепления Витебского замка были вновь разрушены. Несмотря на яростное сопротивление, горожанам все же пришлось признать власть Сигизмунда.
Из-за частых разрушений уже к середине XVI века от каменных укреплений осталась лишь одна разрушенная стена и сильно поврежденная каменная башня над Двиной, о чем говорит запись в «Хронике Литовской и Жемойтской». Все это привело к тому, что в XVI-XVII вв. каменные укрепления постепенно трансформировались в деревянные, их быстрее было возводить. Это и позволило Петру I во время северной войны при отступлении сжечь замок.