Впервые упоминание о местечке Быхов зафиксировано 31 мая 1393 г в грамоте князя Дмитрия Семеновича Друцкого. Городом также владели князья Свидригайло, род Гаштольдов. В 1542-ом году Быхов переходит к Ходкевичам, а с 1625-го года им стали владеть Сапеги.
Быхов, как и другие города ВКЛ, изначально имел деревянный замок. Строительство каменных укреплений вместо деревянных в Быховском замке и городе начал в 1590-ом году Великий гетман Литовский Ян Карл Ходкевич. Затем строительство продолжилось при Карле Ходкевиче и завершилось при Льве Сапеге, когда город получил мощную бастионную фортификацию. В итоге Быховский замок и город защищал громадный 800-метровый вал с бастионами, равелинами (вспомогательное фортификационное сооружение, обычно треугольной формы, которое помещалось перед крепостным рвом между бастионами) и рвом в виде полукруга.
Быховский замок, являющийся основным звеном в обороне города, располагался на берегу реки Днепр, и имел форму неправильного прямоугольника размером 77 х 100 метров. С востока защищался Днепром, а с остальных трех сторон - глубокими и широкими оборонительными рвами. С западной стороны замка располагались три каменные башни. Башни были двухъярусными, восьмигранными с 7-8-ю бойницами.
Здесь же, на западе, находилась въездная брама: двухъярусная со сводчатым перекрытием, круглым куполом, на котором красовался флюгер с гербом Сапег. Двухстворчатые ворота дополнительно защищались герсой и системой железных запоров.
Дворец Быховского замка располагался на противоположной стороне от брамы. В верхней части дворца находились покои и столовая, а внизу - подвалы.
Сам город имел оборонительный вал высотой 7-8 метров и шириной в основании 30 метров. Таких же размеров был и оборонительный ров. Вход и выход из города осуществлялся через три каменные брамы. Одна, Подольная, вела к берегу Днепра, Могилевская располагалась на севере, а на юге находилась Рогачевская. Перед Могилевской и Рогачевской были перекинуты мосты, у которых последние звенья были подъёмными.
Дополнительной обороной Быховского замка являлся каменный костёл. Он располагался на подступах к замку с северной стороны, был обнесён каменной оградой с небольшими башенками по углам. Помимо этого, недалеко находилась приспособленная к обороне синагога. В плане она была прямоугольной с толщиной стен в два метра. Синагога имела круглую угловую башню, а также круглые и прямоугольные бойницы. Она закрывала выход из прилегавших улиц северо-западной части города и являлась дополнительным узлом обороны на пути наступавших.
Быхов из-за своего стратегического местонахождения не раз подвергался нападению врагов. В первый раз, в 1590 году, низовым казакам донского гетмана Матюши Федоровича удалось захватить город. А вот в 1648-ом году во время восстания Богдана Хмельницкого казаки и местные крестьяне во главе с Ф. Гаркушей не смогли взять ни сам город, ни его замка.
Быхов долго оборонялся во время войны Москвы с Речью Посполитой в 1654-1667 годах. 18 месяцев с августа 1654 года держал оборону от осадивших его казаков атамана Золоторенко И.В. и войск А.Н. Трубецкого. Столь длительную и изматывающую осаду выдержать не смог и был вынужден сдаться и перейти под контроль казаков И. Нечая, так как атаман Золоторенко убили в ходе осады. Однако казачий предводитель Нечай вскоре изменил Московскому царю и во второй половине 1658 года перешёл на сторону Речи Посполитой. В итоге, Быховский замок и город вновь оказались в осаде с мая по декабрь 1659-го года. И 4 декабря в ходе ночного штурма войсками князя Лобанова-Ростовского городу пришлось сдаться. Князю удалось склонить к капитуляции коменданта замка немца Шульца. В ходе осады город и замок сильно пострадали, особенно замок, где взорвался арсенал. Царские войска недолго простояли в Быхове, вскоре они были осаждены войсками Речи Посполитой и в 1661 году сдались войску гетмана Чарнецкого.
В период Северной войны Быховский замок и город дважды подвергались осаде со стороны войск Петра I. В первый раз - в 1701 году, когда, из-за того, что владевший им в то время К. Сапега перешёл на сторону Карла XII, российские войска окружили город. Осадой командовал генерал Синицкий. Успех нападавших во многом был обеспечен тем фактом, что из Могилева доставили громадную пушку. Через некоторое время генерал Синицкий перешёл на сторону шведов, сделав Быхов своей главной ставкой. В итоге Петр I отправил к городу сильные войска под командованием своих четырёх генералов и город снова оказался в осаде. Синицкому не удалось удержать Быхов, и он капитулировал. После захвата в городе на протяжении более семи лет простоял российский гарнизон, которым, при уходе, брамы были приведены в негодность, а бастионы взорваны.
После окончания Северной войны Сапеги спустя время вновь восстановили Быховский замок. Однако после раздела Речи Посполитой и вхождения территории ВКЛ в Российскую империю Быхов утратил своё стратегическое местонахождение, а его укрепления пришли в упадок. До наших дней от одного из самых лучших бастионов Речи Посполитой сохранился лишь разрушенный дворец Сапег. Замок был включён в 2013 году в государственную программу «Замки Беларуси», и его восстановление планируется завершить в 2018 году.