Оршанский замок был возведен в месте впадения реки Оршици в Днепр. Как и Витебский замок, Оршанский выстроили на основании былого деревянного детинца, стоявшего на старом Оршанском городище еще с XII века. Древний детинец, возвышавшийся на холме высотой 6-7 метров, был треугольной формы и обведен валом, а так же с восточной стороны его защищал выкопанный ров глубиной 3 метра. Его общая площадь составляла 0.5 га.
После того как Орша вошла в состав ВКЛ, она получила стратегическое значение и по приказу Великого князя Литовского Ольгерда Оршанский замок стали укреплять. Вместо старого деревянного детинца были выстроены каменные стены и башни.
В процессе перестройки замка оборонительный ров засыпали, а выше на восток выкопали новый. По краю увеличенной площадки насыпали земляной вал, а его склон, ранее окружавший детинец, с внутренней стороны покрыли каменной брусчаткой. По периметру новой площадки начали строить каменные стены и башни, при этом включая в каменный комплекс деревянный детинец. Таким образом, общая территория Оршанского замка увеличилась до 3,1 га.
При жизни Ольгерда строительство замка до конца так и не довели, поэтому, когда князя не стало, каменные оборонительные сооружения быстро достроили уже из дерева. В таком виде, наполовину каменный, наполовину деревянный, замок простоял до конца XIV века.
Строительство продолжилось в 1398-1407 гг. по приказу Великого князя Литовского Витовта, но и тогда деревянные сооружения не успели заменить каменными. При возведении стен и башен использовалась техника так называемой «полосатой кладки», в которой ряды средних по величине валунов выравнивались рядами кирпичей.
Крепостные стены Оршанского замка укрепляли пять многоярусных башен, три из которых были угловыми. Вход в замок находился в восточной стене, и к нему вёл деревянный мост через ров, наполненный водой из реки Оршица. После двух этапов строительства длина крепостных стен замка составляла около 354 метров.
В результате частых военных действий и четырёх осад московскими войсками в 1502-1519 годах, Оршанский замок был разрушен. Его реконструкция началась в 1529 году и так как финансов в Орше на реконструкцию не хватало, каменные стены и башни вновь достраивались из дерева.
К 1560 году замковые ворота представляли собой двухъярусное сооружение на каменном фундаменте с системой запорных конструкций. Ворота с внешней стороны закрывались подъемным мостом. Слева от них находилась двухъярусная наполовину каменная башня. Дальше по стене в восточном направлении стояла третья башня, каменная до второго яруса, а выше - деревянная. Ее нижняя часть была приспособлена под оружейную. Со стороны Днепра находилась четвертая двухъярусная башня, возле неё, под каменной стеной, находился замаскированный вход для обеспечения защитников замка водой из Днепра. Далее замковая стена вела к пятой башне. Стены замка завершались боевой галереей на консольных балках.
В таком виде Оршанский замок простоял до середины XVII века, пока не был полностью разрушен во время войны Московского княжества с Речью Посполитой в 1654-1667 годах. Принимая во внимание удачное стратегическое положение замка, московиты попытались его восстановить, но не успели, в 1661 году замок без особых усилий освободили войска Речи Посполитой. После победы в этой битве замок снова обновили, но в следующей войне, уже со шведами в 1700 -1709 году, он был сожжен по приказу российского царя Петра I. После Северной войны в очередной раз замок был восстановлен и окончательно уже был разрушен в 1772 году, когда в результате первого раздела Речи Посполитой Орша присоединили к Российской империи.