Изначально Гольшанский замок был построен на высокой горе над рекой Корабль, на северо-востоке от местечка Гольшаны. Первые упоминания о деревянном замке появились в XIII веке согласно летописям. Основали местечко и владели им вплоть до 1525 года князья Гольшанские. После брака княжны Елены Гольшанской с Павлом Сапегой замок перешел во владения к Сапегам.
Павел Стефан Сапега, который приходился двоюродным братом Льву Сапеге, перенес Гольшанский замок на берег реки Лусты (Жиганки), он отстроил его в камне в первой половине XVII века. Отдаленно, по своей композиции, он напоминал Мирский замок.
По форме Гольшанский замок представлял собой прямоугольник, а точнее прямоугольное замкнутое здание 88,6 х 95,6 метров. Как и в Мирском, в Гольшанском жилые корпуса с башнями образовывали замкнутый двор размерами 57 × 65 метров. Но, в отличие от Мирского, здесь мощные стены, характерные для оборонительных сооружений XVI века, уступали место фасаду жилого дома. Шестигранные башни, стоявшие по углам, стали меньше и стройнее, отсутствовала воротная башня. И хотя свое первоначальное оборонное значение они не утратили, в них размещались также жилые и хозяйственные помещения. Однако основная оборона Гольшанского замка была перенесена на мощные земляные валы и рвы с водой. Вход в замок проходил через арочный портал по центру северного жилого здания. Под замком имелись громадные сводчатые подвалы.
Несмотря на наличие башен и рвов, Гольшанский замок использовался больше как резиденция, которая должна была впечатлить гостей хозяев. А впечатлить было чем, ведь не зря его прозвали «Каменным цветком» и считали одним из самых красивых дворцов в ВКЛ. Помещения замка были украшены анфиладой, полы - мозаикой, в окна были вставлены витражные стекла, имелась аркадная галерея.
По своей композиции внешний фасад Гольшанского замка напоминал голландские замки Бесенштэейн и Клейдаель под Антверпеном. Такое сходство объясняется тем, что архитектура Великого княжества Литовского была подвержена достаточно мощному влиянию голландско-фламандской архитектуры, что было обусловлено развитием культурных и торговых связей ВКЛ с Западной Европой.
Как и многие другие замки на территории ВКЛ, Гольшанский замок не избежал разрушения. В годы Северной войны большая его часть была уничтожена шведами. А последний владелец, некий Горбанев, приказал взорвать стены и башни замка, и полученный кирпич пустить на строительство корчмы. Все же замок не был полностью уничтожен. Известно, что до Первой мировой войны в замке ещё жили люди. А вот уже после ВОВ жилые помещения были разобраны на нужды местного колхоза для постройки дома культуры и свинарника.
От былого величия Гольшанского замка до наших дней частично сохранилось восточное крыло дворца и две башни. На сегодняшний день замок находится под охраной Министерства культуры Республики Беларусь, включен в программу «Замки Беларуси» и запланирована реставрация северной башни замка, которая сохранилась лучше всего.