В Великое княжество Литовское 12-ти летний Казимир Ягайлович приехал вместе с польской делегацией в 1439 году. По замыслу польской короны, планировалось оставить его здесь, в качестве наместника своего старшего брата и Польского короля Владислава 3, который должен был занять великокняжеский престол после смерти Великого князя Сигизмунда Кейстутовича, но в 1439 году его выбрали венгерским королём и он, вынужден был уехать в Венгрию.
Литовских магнатов и шляхту такое положение дел не устраивало, так как они хотели на престоле видеть не наместника Польского короля, а своего собственно Великого князя. Для осуществления своих целей Литвины пошли на хитрость, они напоили всю польскую делегацию, и на следующее утро 29 июня 1440 года, пока польские сенаторы спали, магнаты и шляхта посадили на великокняжеский престол Казимира, вручили ему меч, надели шапку Гедемина и покрыли его великокняжеским покрывалом. Проснувшейся польской делегации больше ни чего не оставалось, как признать Казимира 4 Ягайловича Великим князем Литовским и уехать домой.
Не успев стать Великим князем Литовским, Казимиру 4 тут же пришлось подавлять восстания в Жемойтии и Смоленске. Жемойты не признав Казимира своим новым князем, выгнали его наместника Кейзгайло и избрали себе нового, по имени Довмонт. Казимир, собрав войска, двинулся в Жемойтию и стал в городе Ковно. Жемойты тоже собрали свои войска и стали на Невяже. События приближались к кровопролитию, но главный и самый близкий к Казимиру советник Ян Гаштольт, посоветовал отправить на переговоры дядю Довмонта Контовта. Контовт сумел уговорить жемойтов, признать Казимира, и те, по прибытию в Ковно, присягнули на верность своему новому Великому князю с условием, что их старостой будет Контовт. Спустя три года, вместо Контовта, наместником и старостой жемойтов снова назначили Кезгайло.
Смоленск, как и Жемойтия тоже не желал признавать Казимира 4 своим новым князем, и хотел стать независимым княжеством. Восстание возглавил приглашённый Смолянами, Мстиславский князь Юрий Лугвениевич, который арестовал всех бояр, что ездили в Вильно на коронацию Казимира 4, а их имущество конфисковал и роздал своим сторонникам.
Казимир 4, узнав о восстании в Смоленске, послал туда войска, которые, простояв под стенами города три недели, так и не решилась на штурм, тогда Казимир 4, взяв большие силы, сам возглавии поход на Смоленск. К ноябрю он подошел к городу, Юрий Лугвениевич побоялся сражаться и сбежал в Москву, а Смоленск признал власть Казимира 4.
10 ноября 1444 года под Варной гибнет польский король Владислав 3, Польша остаётся без правителя, а Казимир становится претендентом на польскую корону, куда его и начали приглашать поляки. Казимир 4 долго отказывал на приглашение стать польским королём, пока ему не сказали, что если он откажется, то изберут королём не угодного Казимиру 4 и ВКЛ, Мазовецкого князя Болеслава. Казимир 4, не желая, что бы королём стал Болеслав, согласится на предложения польской стороны, и 25 июня 1447 года он стал королём Польши.
Став одновременно правителем двух государств, Казимиру приходилось постоянно искать баланс между интересами польских магнатов, стремившихся присоединить ВКЛ к территории польского королевства, и интересами литвинов которые постоянно хотели уйти от влияния и тем более от присоединения к Польше. Одним из средств решения данной проблемы стал привелей Казимира от 2 мая 1447 года. Этот привелей расширял имущественные права Магнатов и шляхты. Самой значительной из 14 статей документа была та, в которой говорилось о том, что должности и земли в ВКЛ будут получать только её уроженцы.
В 1449 году был заключён мир между Литвой и Московским княжеством, в войне начавшейся в 1446 году из-за того, что Московский князь решил поддержать Михаила Сигизмундовича, сына умершего Великого князя Литовского Сигизмунда Кейстутовича, в борьбе за власть в ВКЛ с Казимиром.
Союз городов Пруссии и Поморья, состоявший из польско-немецкого населения, отказался подчиняться в 1454 году Тевтонскому ордену. Прусский союз городов хотел жить по Магдебургскому праву и попросил Казимира 4 принять их состав Польши. Казимир 4 не упустил шанса вернуть выход Польши к морю, и не отказал в просьбе Прусским городам. Началась война, которая завершилась 19 октября 1466 года заключением с Тевтонским орденом Торнского мира, по которому Польша вернула себе выход к Балтике, а Тевтонский орден потерял половину своей территории.
Казимир 4 положил начало кодификации феодального права в ВКЛ, издав свой «судебник» в 1468 году. В «Судебнике» устанавливался порядок защиты прав, определялся порядок досудебного производства и судебного рассмотрения уголовных дел, так же были определены виды наказаний.
После издания судебника, Казимир 4 Ягайлович примет участие ещё в двух больших войнах Польши с Венгрией и Крымом, и умрёт в Гродно 7 июня 1492 года.