Ковенский замок был построен приблизительно в середине 13-го начале 14-го века, там, где река Виллия впадает в Неман. Данный замок принадлежит к типу – кастель. Особенность данного типа - в почти правильной форме двора, обнесенного по периметру мощными стенами, которые заканчиваются боевой галереей. Ковенский замок был самым первым замком - кастель на территории ВКЛ. Первый раз он был разрушен в ходе стремительного нападения крестоносцев под командованием Генриха фон Книпроде, на тот момент замок еще даже не был достроен. Однако после ухода крестоносцев его принялись восстанавливать. Первоначально Ковенский замок имел форму неправильного прямоугольника, который был обнесен двумя линиями оборонительных стен: основной замковой стеной и стеной, окружавшей весь замок по периметру. В высоту стены достигали 12 метров.
На ряду с ландшафтными преградами в виде двух рек, создающими дополнительные сложности для захватчиков, и мощными стенами замок имел оборонительные рвы, заполненные водою, и пару ворот с подъемными мостами.
В 1376 году Ковенскому замку удалось отбить очередное нападение крестоносцев, но в 1386 году защитникам мошные и высокие стены не помогли: он был захвачен и сильно разрушен крестоносцами. На его руинах был построен новый замок крестоносцев. С того момента его принадлежность не раз менялась, пока в 1410 году, после победы в Грюнвальдской битве, Витовт окончательно не установил власть ВКЛ над Ковно.
Великий князь Литовский Витовт модернизировал замок. После этой перестройки он приобрел четырёхугольный вид и одну линию стен с толщиной около двух с половиной метров. Также по углам были построены башни как четырехугольной, так и круглой формы. Одна из них выполняла функцию ворот и находилась в юго-восточной части замка. Окружной ров оставили, он продолжал нести дополнительную оборонительную функцию.
В 60-80 годах 16-го столетия вокруг южно-западной башни был построен бастион. Он был сделан из кирпича, имел высоту пять метров и диаметр сорок один метр. Использовался для фронтального обстрела. Для пушек кардинальным образом была изменена система бойниц. Таким образом Ковенский замок стал примером перехода от средневекового до пушечного оборонительного сооружения к пушечной фортификации эпохи возрождения.
На сегодняшний день Ковно переименован в Каунасс и находится в Республике Литва. От замка осталась часть стены, часть четырехугольной башни и уцелевшая круглая башня, где располагается музей для туристов.