Местечко Смоляны впервые упоминается в письменных источниках в XV веке. В этот период оно принадлежит князьям Бельским, затем деревня переходит во владения Великого Гетмана Литовского Константина Острожского. После Острожских Смоляны достаются князю Андрею Курбскому, а тот, впоследствии, обменяет их на местечко Ковель у Василия Сангушко.
В первой четверти XVII века князь Семен Андреевич Сангушко приказывает построить Смолянский замок, который получает название «Белый Ковель» в честь бывшего родового имения в Ковеле, а также еще и потому, что стены замка были покрашены в белый цвет.
Смолянский замок возвели на правом берегу реки Дерновка. Размером он был 100 х 200 метров и имел вид замкнутого прямоугольника с внутренним двором, угловыми башнями высотой в три яруса и одной пятиярусной башней пятиугольной формы, расположенной в северо-восточной фасадной стене от входных ворот. По периметру двора располагался трехэтажный корпус с толщиной стен 1,2 -1,7 метра.
При строительстве Смолянского замка использовался крупный кирпич размерами 29х13х8 см и полевой камень. Что касается технологии кладки, то она больше всего похожа на голландскую. Пятиярусная башня отличалась утонченным рельефным декором и мягко контрастировала с гладкой поверхностью стен. О стилистической связи с западноевропейской архитектурой свидетельствует орнамент оконных проемов и плоская ордерная раскреповка. В уцелевшей до наших дней руинах башни видны остатки винтовой лестницы, остатки арочного перехода из главного корпуса в башню, детали каминов, ниши различных размеров.
При маршалке Великого Княжества Литовского Павле Любартовиче Сангушко были составлены два инвентаря за 1739 и 1742 год. Из них известно, что замок был каменный, обнесен насыпными валами с бастионами по углам, вокруг – ров, наполненный водой. Перед замком находился пруд, через который был перекинут мост с перилами. Ворота в каменной браме были сделаны из сосновых досок, прибитых большими гвоздями и окованных железными рейками. Во дворе, слева от брамы, располагался большой склеп. В жилых покоях стояли печи из белой плитки с гербом – Погоня.
Из-за своего близкого расположения к восточным рубежам Смолянский замок, как и другие замки в восточной части территории Великого Княжества Литовского, не раз подвергался нападениям. Белый Ковель был разрушен во время войны Москвы с Речью Посполитой в период с 1654-1667 год и во время Северной войны 1700 – 1721 год, когда отступающие войска Петра I взорвали замок. Довершил уничтожения замка в середине XIX века сенатор Семенов, владевший им в то время. Он продал замок местным дельцам на кирпич.